[논문 리뷰] AraBERT: Transformer-based Model for Arabic Language Understanding

Wissam Antoun, Fady Baly외 1명|arXiv (Cornell University)|2020. 02. 28.

Topic Modeling참고 문헌 47인용 수 617

한 줄 요약

AraBERT는 아랍어를 위한 모노링구얼 BERT-스타일 모델을 사전 학습하여 다양한 방언에서 SA, NER, QA 등 다수의 아랍어 NLP 태스크에서 최신(SOTA) 결과를 달성하고 모델을 공개적으로 공개한다.

ABSTRACT

The Arabic language is a morphologically rich language with relatively few resources and a less explored syntax compared to English. Given these limitations, Arabic Natural Language Processing (NLP) tasks like Sentiment Analysis (SA), Named Entity Recognition (NER), and Question Answering (QA), have proven to be very challenging to tackle. Recently, with the surge of transformers based models, language-specific BERT based models have proven to be very efficient at language understanding, provided they are pre-trained on a very large corpus. Such models were able to set new standards and achieve state-of-the-art results for most NLP tasks. In this paper, we pre-trained BERT specifically for the Arabic language in the pursuit of achieving the same success that BERT did for the English language. The performance of AraBERT is compared to multilingual BERT from Google and other state-of-the-art approaches. The results showed that the newly developed AraBERT achieved state-of-the-art performance on most tested Arabic NLP tasks. The pretrained araBERT models are publicly available on https://github.com/aub-mind/arabert hoping to encourage research and applications for Arabic NLP.

연구 동기 및 목표

• 자원이 제한되고 아랍어 특유의 형태소학으로 인해 고성능 아랍어 언어 모델의 격차를 동기 부여하고 해결한다.
• 큰 아랍어 코퍼스를 사용하여 아랍어 전용 BERT 기반 모델(AraBERT)을 사전 학습한다.
• MSA 및 방언 아랍어를 포함한 다양한 다운스트림 아랍어 NLP 태스크에서 AraBERT를 평가한다.
• 향후 아랍어 NLP 연구 및 응용을 촉진하기 위해 공개적으로 이용 가능한 AraBERT 모델을 제공한다.

제안 방법

• BERT-base 구성 사용(인코더 계층 12개, 768 은닉 유닛, 12 어텐션 헤드).
• 대규모 아랍어 코퍼스(~24GB, 70M 문장)에서 전체 단어 마스킹 MLM과 NSP 프리트레이닝 목표를 적용한다.
• 아랍어 특화 전처리 적용: Farasa로 단어를 세분하고, 이어서 60k 토큰 정도의 SentencePiece unigram 토크나이저를 학습(세분화 없이 64k 변형도)한다.
• 시퀀스 분류를 위해 [CLS] 토큰과 소프트맥스 분류기를 사용하여 AraBERT를 미세조정한다.
• NER의 경우 토큰 수준 IOB2 태깅으로 처리하고 단어당 첫 번째 서브토큰만 모델에 입력한다.
• QA의 경우 토큰 수준 분류기를 사용해 시작 위치와 종료 위치를 예측하여 정답 구간을 추출한다.

실험 결과

연구 질문

• RQ1 단일 언어 아랍어 BERT 모델이 표준 아랍어 NLP 벤치마크에서 다국어 BERT보다 우수한가?
• RQ2 아랍어 특화 전처리와 토크나이제이션이 태스크(SA, NER, QA) 전반의 성능에 어떤 영향을 미치는가?
• RQ3 AraBERT가 현대어 표준 아랍어(MSA)와 방언 아랍어 데이터셋 전반에서 최첨단 결과를 달성할 수 있는가?
• RQ4 아랍어 전처리에서 어휘 크기와 데이터 크기의 트레이드오프는 무엇인가?

주요 결과

작업	지표	Prev SOTA	mBERT	AraBERTv0.1/v1
SA (HARD)	Acc.	95.7*	95.7	96.2 / 96.1
SA (ASTD)	Acc.	86.5*	80.1	92.2 / 92.6
SA (ArSenTD-Lev)	Acc.	52.4*	51.0	58.9 / 59.4
SA (AJGT)	Acc.	92.6**	83.6	93.1 / 93.8
SA (LABR)	Acc.	87.5†	83.0	85.9 / 86.7
NER (ANERcorp)	macro-F1	81.7	78.4	84.2 / 81.9
NER (ANERcorp)	Exact Match	-	-	34.2 / 30.1
QA (ARCD)	macro-F1	mBERT	61.3	61.2 / 62.7
QA (ARCD)	Sentence Match	-	93.0 / 92.0	-

• AraBERT가 다국어 BERT 및 기존의 최첨단 방법들을 대부분의 아랍어 NLP 태스크에서 능가한다.
• 약 ~24GB의 아랍어 텍스트를 사용하고 64k 어휘를 사용한 사전학습(2k인 mBERT 대비)과 전체 단어 마스킹이 성능 향상에 기여한다.
• AraBERTv0.1(세분화 없음)과 AraBERTv1(세분화 전처리)은 태스크별로 상이한 영향을 보이며, 세분화가 SA와 QA에 도움을 주지만 NER에는 그렇지 않다.
• NER (ANERcorp)에서 AraBERTv0.1은 macro-F1 84.2 및 exact match 34.2를 달성하여 Bi-LSTM-CRF 베이스라인 및 mBERT를 능가한다.
• SA에서 AraBERT 변형들이 HARD, ASTD, ArSenTD-Lev, AJGT, LABR 데이터셋에서 선도적인 정확도를 달성하며 이전 SOTA 및 mBERT를 능가하는 경우가 다수 있다.
• QA (ARCD)에서 AraBERT는 mBERT보다 향상된 macro-F1 및 문장 매치를 보여주어 스팬 예측 및 정답 검색에서 더 나은 성능을 시사한다.