[논문 리뷰] AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation

El Moatez Billah Nagoudi, AbdelRahim Elmadany외 1명|arXiv (Cornell University)|2021. 08. 31.

Topic Modeling참고 문헌 67인용 수 4

한 줄 요약

이 논문은 다양한 아랍어 코퍼스를 기반으로 사전 훈련한 아랍어 전용 텍스트-투-텍스트 T5 모델인 AraT5를 소개한다. 이 모델은 mT5와 MARBERT를 능가하며 아랍어 언어 이해에서 최고의 성능을 보이고, 새로운 아랍어 생성 벤치마크(ARGEN)에서 새로운 최고 성능(SOTA) 기록을 세웠다. 이는 아랍어와 같이 자원이 적고 다양한 방언을 가진 언어에 대해 통합된 텍스트-투-텍스트 전이 학습이 효과적임을 보여준다.

ABSTRACT

Transfer learning with a unified Transformer framework (T5) that converts all language problems into a text-to-text format has recently been proposed as a simple, yet effective, transfer learning approach. Although a multilingual version of the T5 model (mT5) has been introduced, it is not clear how well it can fare on non-English tasks involving diverse data. To investigate this question, we apply mT5 on a language with a wide variety of dialects--Arabic. For evaluation, we use an existing benchmark for Arabic language understanding and introduce a new benchmark for Arabic language generation (ARGEN). We also pre-train three powerful Arabic-specific text-to-text Transformer based models and evaluate them on the two benchmarks. Our new models perform significantly better than mT5 and exceed MARBERT, the current state-of-the-art Arabic BERT-based model, on Arabic language understanding. The models also set new SOTA on the generation benchmark. Our new models and are publicly released at this https URL and ARLGE will be released through the same repository.

연구 동기 및 목표

• 다양한 방언을 가진 자원이 적고 고도로 다양성이 높은 언어인 아랍어에서 다국어 T5(mT5)의 성능을 평가하기 위해.
• 아랍어 전용 사전 훈련 모델의 격차를 메우기 위해 아랍어에 특화된 텍스트-투-텍스트 트랜스포머를 개발하기 위해.
• 생성 능력을 평가하기 위해 아랍어 텍스트 생성을 위한 새로운 벤치마크(ARGIN)를 구축하기 위해.
• 다양한 아랍어 코퍼스를 기반으로 전문화된 모델을 사전 훈련하여 아랍어 언어 이해 및 생성 능력을 향상시키기 위해.
• 공개 리포지터리를 통해 AraT5 모델과 ARGEN 벤치마크를 커뮤니티 사용 및 향후 연구를 위해 공개하기 위해.

제안 방법

• 기본 성능를 확보하기 위해 mT5 모델을 아랍어 언어 이해 및 생성 작업에 맞게 미세조정하기 위해.
• 대규모이고 다양한 아랍어 텍스트 데이터(현대 표준 아랍어 및 다양한 방언 포함)를 기반으로 세 개의 새로운 아랍어 전용 T5 기반 모델(AraT5)을 사전 훈련하기 위해.
• 모든 자연어 처리(NLP) 작업을 텍스트-투-텍스트 형식으로 변환하여 다양한 작업 간에 통합된 입력-출력 표현을 가능하게 하기 위해.
• 모놀링구얼 아랍어 텍스트, 다국어 데이터 및 정제된 방언 코퍼스의 조합을 사용하여 모델의 강건성을 향상시키기 위해.
• T5 프레임워크에서 일반적인 방식인 마스킹된 입력 스트립에 대한 복원 자동인코딩 목적함수를 사용하여 모델을 훈련하기 위해.
• 새로운 아랍어 생성 벤치마크(ARGEN)와 기존의 아랍어 이해 벤치마크에서 모델을 평가하기 위해.

실험 결과

연구 질문

• RQ1 다국어 디자인을 가진 다국어 T5(mT5)는 아랍어 언어 이해 및 생성 작업에서 얼마나 잘 작동하는가?
• RQ2 아랍어 전용 T5 모델은 mT5와 기존의 BERT 기반 모델인 MARBERT보다 아랍어 NLU에서 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ3 AraT5 모델은 다양한 아랍어 방언과 언어 작업 전반에 걸쳐 얼마나 잘 일반화되는가?
• RQ4 기존의 접근 방식과 비교해 볼 때, 텍스트-투-텍스트 프레임워크는 아랍어 생성에 얼마나 효과적인가?
• RQ5 새로운 벤치마크(ARGEN)는 아랍어 텍스트 생성 능력을 효과적으로 평가할 수 있는가?

주요 결과

• AraT5 모델은 아랍어 언어 이해 작업에서 mT5를 뚜렷이 능가하며, 도메인 특화 사전 훈련의 이점이 있음을 입증한다.
• AraT5 모델은 현재 최고 성능을 기록하고 있는 BERT 기반 아랍어 모델인 MARBERT를 아랍어 언어 이해 벤치마크에서 초월한다.
• AraT5 모델은 새로 도입된 아랍어 생성 벤치마크(ARGEN)에서 새로운 최고 성능(SOTA)을 달성한다.
• 성능 향상 요인은 아랍어 전용 사전 훈련과 통합된 텍스트-투-텍스트 프레임워크의 조합에 기인한다.
• 저자들은 커뮤니티 접근성과 재현 가능성을 위해 AraT5 모델과 ARGEN 벤치마크를 공개 리포지터리에 성공적으로 배포하였다.