[논문 리뷰] ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic.

Muhammad Abdul-Mageed, AbdelRahim Elmadany외 1명|arXiv (Cornell University)|2020. 12. 27.

Natural Language Processing Techniques참고 문헌 65인용 수 138

한 줄 요약

이 논문은 다채롭고 방대한 아랍어 데이터셋(소셜 미디어 및 다양한 아랍어 방언 포함)을 기반으로 사전 훈련한 두 가지 딥 양방향 트랜스포머 기반 언어 모델인 ARBERT와 MARBERT를 소개한다. 이는 多국어 및 자원이 적은 아랍어 NLP 작업에서 성능을 향상시키기 위한 것이다. 또한 저자들은 6개의 작업 클러스터에 걸쳐 총 42개의 데이터셋을 포함하는 새로운 벤치마크 ARLUE를 제시하며, 이에 기반해 가장 우수한 모델이 77.40의 ARLUE 점수를 기록하여 XLM-R Large와 같은 더 큰 모델들조차도 능가하였다. 이는 크기가 3.4배 작지만 에너지 효율성 면에서도 뛰어난 성능을 보였다.

ABSTRACT

Pre-trained language models (LMs) are currently integral to many natural language processing systems. Although multilingual LMs were also introduced to serve many languages, these have limitations such as being costly at inference time and the size and diversity of non-English data involved in their pre-training. We remedy these issues for a collection of diverse Arabic varieties by introducing two powerful deep bidirectional transformer-based models, ARBERT and MARBERT. To evaluate our models, we also introduce ARLUE, a new benchmark for multi-dialectal Arabic language understanding evaluation. ARLUE is built using 42 datasets targeting six different task clusters, allowing us to offer a series of standardized experiments under rich conditions. When fine-tuned on ARLUE, our models collectively achieve new state-of-the-art results across the majority of tasks (37 out of 48 classification tasks, on the 42 datasets). Our best model acquires the highest ARLUE score (77.40) across all six task clusters, outperforming all other models including XLM-R Large (~ 3.4 x larger size). Our models are publicly available at https://github.com/UBC-NLP/marbert and ARLUE will be released through the same repository.

연구 동기 및 목표

• 기존의 다국어 및 단일 언어 모델이 아랍어에 대해 가지는 한계를 해결하기 위해, 특히 방언, 소셜 미디어 언어 처리 및 높은 추론 비용 문제를 해결하고자 한다.
• 비표준 방언을 포함한 다양한 언어 공동체를 수용할 수 있는 효율적이고 높은 성능의 아랍어 언어 모델을 개발하고자 한다.
• 모델 간의 의미 있는 비교를 가능하게 하기 위해 표준화되고 종합적인 아랍어 NLP 평가 벤치마크를 구축하고자 한다.
• 중간 크기의 아랍어 전용 모델이 정확성과 에너지 효율성 측면에서 XLM-R Large와 같은 더 큰 다국어 모델을 능가할 수 있음을 입증하고자 한다.

제안 방법

• 현대 표준 아랍어(MSA) 및 여러 아랍어 방언을 포함한 대규모이고 다양한 아랍어 텍스트 데이터를 활용해 ARBERT와 MARBERT를 사전 훈련한다.
• 전이 학습을 통해 다양한 하류 NLP 작업에 대해 모델을 미세 조정한다.
• 감성, 사회적 의미, 주제 분류, 방언 의도, 방언 식별, 명명된 실체 인식의 6개 주제 클러스터로 구성된 42개의 데이터셋을 포함하는 ARLUE라는 새로운 벤치마크를 설계하고 제작한다.
• 모든 42개의 데이터셋에 대해 데이터 분할 및 평가 프로토콜을 표준화하여 재현 가능성과 공정한 비교를 보장한다.
• 모든 클러스터를 종합적으로 평가하기 위해 다중 작업 평가 전략을 활용하여 단일 ARLUE 점수를 산출한다.
• 아랍어의 형태적 복잡성과 문자 체계의 다양성에 적합하게 수정된 자기지도 학습 기반의 마스크된 언어 모델링 및 다음 문장 예측 기법을 활용한다.

실험 결과

연구 질문

• RQ1 아랍어 전용 언어 모델은 더 크고 에너지 효율성이 떨어지는 일반 다국어 모델인 XLM-R보다 아랍어 NLP 작업에서 뛰어난 성능을 보이며, 크기는 훨씬 작고 에너지 효율성이 높을 수 있는가?
• RQ2 소셜 미디어와 같은 비표준 아랍어 텍스트에 대해 사전 훈련을 수행할 경우, 방언 및 비공식 언어 이해 능력이 얼마나 향상되는가?
• RQ3 표준화된 다중 데이터셋 벤치마크인 ARLUE는 아랍어 NLP 모델 평가의 신뢰성과 비교 가능성에 어떻게 기여하는가?
• RQ4 중간 크기의 아랍어 전용 모델이 다양한 아랍어 NLP 작업에서 더 큰 다국어 모델을 능가할 수 있는가?
• RQ5 현재 최신 기술 아랍어 모델인 AraBERT는 방언 및 소셜 미디어 텍스트에서 어떻게 작동하며, 어떤 한계를 보이는가?

주요 결과

• ARBERT와 MARBERT는 XLM-R Large보다 크기가 3.4배 작은 상황에서도 모든 모델 중에서 최고의 ARLUE 점수 77.40을 기록하며 새로운 최신 기술 성능을 달성했다.
• ARLUE의 테스트 분할에서, MARBERT(v2)는 모든 6개의 작업 클러스터에서 최고 점수를 기록했으며, 평균 정확도는 77.87%, F1 점수는 76.94%를 기록했다.
• ARLUESenti 작업에서 MARBERT(v2)는 93.30%의 F1 점수를 기록하여 mBERT(79.02% F1)와 XLM-R(93.18% F1)를 모두 능가했으며, 감성 분석에서 뛰어난 성능을 보였다.
• ARLUEQA 작업에서 MARBERT(v2)는 정확 일치율(EM) 40.47%, F1 점수 62.09%를 기록하여 AraBERT(36.29% EM, 57.81% F1)를 크게 능가했으며, 질문 응답 성능이 뛰어나다는 것을 입증했다.
• ARLUE의 42개 데이터셋에 포함된 48개 개별 분류 작업 중 37개에서 최신 기술 성능을 기록하여 광범위한 효과성을 입증했다.
• ARLUEDia-R 작업에서 MARBERT(v2)는 정확 일치율 90.04%, F1 점수 89.67%를 기록하여 아랍어 NLP에서 핵심 과제인 방언 식별 성능이 뛰어나다는 것을 보여주었다.