[논문 리뷰] ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic

Muhammad Abdul-Mageed, AbdelRahim Elmadany외 1명|arXiv (Cornell University)|2020. 12. 27.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 다채롭고 방대한 아랍어 데이터셋(소셜 미디어 및 다양한 방언 포함)을 기반으로 사전 훈련한 깊이 있는 양방향 트랜스포머 기반 언어 모델인 ARBERT와 MARBERT를 소개한다. 이를 통해 多언어 및 저자원 아랍어 자연어 처리(NLP) 작업에서 성능을 향상시킨다. 또한 저자원 아랍어 NLP 평가를 위한 표준화된 기준으로서 6개의 작업 클러스터에 걸쳐 총 42개의 데이터셋을 포함한 새로운 벤치마크인 ARLUE를 제시하며, 이 모델들은 심지어 더 큰 모델인 XLM-R Large를 능가하는 최신 기술 성능(SOTA)을 기록했다(ARLUE 점수 77.40). 이는 크기가 3.4배 작고 에너지 효율성이 높은 모델임에도 불구하고 성능을 뛰어나게 달성한 것이다.

ABSTRACT

Pre-trained language models (LMs) are currently integral to many natural language processing systems. Although multilingual LMs were also introduced to serve many languages, these have limitations such as being costly at inference time and the size and diversity of non-English data involved in their pre-training. We remedy these issues for a collection of diverse Arabic varieties by introducing two powerful deep bidirectional transformer-based models, ARBERT and MARBERT. To evaluate our models, we also introduce ARLUE, a new benchmark for multi-dialectal Arabic language understanding evaluation. ARLUE is built using 42 datasets targeting six different task clusters, allowing us to offer a series of standardized experiments under rich conditions. When fine-tuned on ARLUE, our models collectively achieve new state-of-the-art results across the majority of tasks (37 out of 48 classification tasks, on the 42 datasets). Our best model acquires the highest ARLUE score (77.40) across all six task clusters, outperforming all other models including XLM-R Large (~ 3.4 x larger size). Our models are publicly available at https://github.com/UBC-NLP/marbert and ARLUE will be released through the same repository.

연구 동기 및 목표

• 기존의 다언어 및 단일 언어 모델이 다양한 아랍어 방언과 실제 세계의 텍스트(예: 소셜 미디어)를 다루는 데에 한계가 있음을 해결하기 위해.
• 더 큰 모델보다 추론 효율성과 에너지 소비 측면에서 뛰어난 성능을 보이는 효율적이고 고성능의 아랍어 언어 모델을 개발하기 위해.
• 다양한 방언과 실제 세계의 도메인을 포함하는 표준화되고 종합적인 아랍어 NLP 평가 기준을 마련하기 위해.
• 기존 아랍어 모델들(예: AraBERT)이 평가 범위가 좁고 데이터 다양성이 제한되어 있음을 해결하기 위해.
• 대규모이고 도메인 다각도의 사전 훈련 데이터를 활용하여 아랍어 NLP의 전이 학습을 향상시키기 위해.

제안 방법

• 소셜 미디어, 뉴스, 방언 텍스트를 포함한 방대하고 다양한 아랍어 코퍼스를 기반으로 깊이 있는 양방향 트랜스포머를 사용해 ARBERT와 MARBERT를 사전 훈련하였다.
• 아랍어의 형태적 풍부성과 문자 체계의 다양성에 맞게 조정된 마스킹 언어 모델링 목적함수와 다음 문장 예측 기법을 사용하였다.
• 더 뛰어난 실제 세계 적용 능력을 확보하기 위해, 대규모 소셜 미디어 데이터셋을 포함한 더 큰 사전 훈련 데이터와 향상된 아키텍처를 갖춘 MARBERT-v2를 설계하였다.
• 6개의 일관된 작업 클러스터로 구성된 42개의 기존 아랍어 NLP 데이터셋을 정제하고 표준화하여 ARLUE를 구축하였다.
• 개별 데이터셋에 대한 미세 조정과 클러스터 수준의 집계를 통해 모델을 평가하였으며, 모델 비교를 위한 통합된 ARLUE 점수를 보고하였다.
• XLM-R Large와 같은 더 큰 다언어 모델보다도 뛰어난 성능을 보이기 위해 기반 크기의 모델을 사용하여 추론 효율성을 최적화하였다.

실험 결과

연구 질문

• RQ1 다양하고 대규모 데이터를 기반으로 사전 훈련한 단일 언어 아랍어 언어 모델이, 아랍어 NLP 작업에서 XLM-R Large와 같은 더 큰 다언어 모델을 능가할 수 있는가?
• RQ2 소셜 미디어와 방언 텍스트를 기반으로 사전 훈련한 모델이 저자원 및 실제 세계의 아랍어 NLP 응용 분야로 일반화되는 정도는 어느 정도인가?
• RQ3 표준화된 벤치마크인 ARLUE는 아랍어 NLP 모델의 공정하고 종합적이며 재현 가능한 평가를 위해 얼마나 효과적인가?
• RQ4 현대 표준 아랍어에만 집중한 모델과 비교해, 방언 아랍어를 기반으로 훈련한 모델이 여러 방언에 걸쳐 성능을 크게 향상시킬 수 있는가?
• RQ5 정확도, 효율성, 에너지 소비 측면에서 기반 크기의 모델은 더 큰 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• ARBERT와 MARBERT는 ARLUE 벤치마크의 48개 분류 작업 중 37개에서 최신 기술 성능(SOTA)을 달성하였다.
• 최고의 모델은 크기가 3.4배 작고 더 에너지 효율적인데도 불구하고, XLM-R Large를 능가하는 ARLUE 점수 77.40을 기록하였다.
• MARBERT는 아랍어 분야에서 당시 최신 기술 성능이었던 AraBERT를 모든 작업 클러스터와 개별 데이터셋에서 모두 능가하였다.
• 다양하고 실제 세계의 데이터를 기반으로 사전 훈련한 덕분에, 모델들은 저자원 및 비공식적인 텍스트(예: 소셜 미디어)로의 일반화 능력이 뛰어났다.
• ARLUE는 공정하고 체계적인 평가를 가능하게 하는 강력하고 종합적인 벤치마크로 입증되었으며, 6개의 서로 다른 아랍어 NLP 작업 클러스터 전반에서 평가가 가능했다.
• 결과적으로 대규모이고 도메인 다각도의 사전 훈련이 다양한 언어 공동체를 수용하는 효과적인 아랍어 NLP 모델을 구축하는 데 핵심적이라는 것이 확인되었다.