[논문 리뷰] Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding

Abbas Ghaddar, Yimeng Wu외 12명|arXiv (Cornell University)|2022. 05. 21.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 데이터 필터링 향상, 문자 수준 모델링, 더 큰 아키텍처 스케일링을 통해 향상된 아랍어 사전 훈련된 언어 모델—JABER, Char-JABER, SABER, AT5S, AT5B—을 도입하여 ALUE 벤치마크와 생성 작업에서 최신 기술 성능을 달성하였으며, 인간 평가를 통해 기존 모델보다 우수한 출력 품질을 확인하였다.

ABSTRACT

There is a growing body of work in recent years to develop pre-trained language models (PLMs) for the Arabic language. This work concerns addressing two major problems in existing Arabic PLMs which constraint progress of the Arabic NLU and NLG fields.First, existing Arabic PLMs are not well-explored and their pre-trainig can be improved significantly using a more methodical approach. Second, there is a lack of systematic and reproducible evaluation of these models in the literature. In this work, we revisit both the pre-training and evaluation of Arabic PLMs. In terms of pre-training, we explore improving Arabic LMs from three perspectives: quality of the pre-training data, size of the model, and incorporating character-level information. As a result, we release three new Arabic BERT-style models ( JABER, Char-JABER, and SABER), and two T5-style models (AT5S and AT5B). In terms of evaluation, we conduct a comprehensive empirical study to systematically evaluate the performance of existing state-of-the-art models on ALUE that is a leaderboard-powered benchmark for Arabic NLU tasks, and on a subset of the ARGEN benchmark for Arabic NLG tasks. We show that our models significantly outperform existing Arabic PLMs and achieve a new state-of-the-art performance on discriminative and generative Arabic NLU and NLG tasks. Our models and source code to reproduce of results will be made available shortly.

연구 동기 및 목표

• 아랍어 사전 훈련된 언어 모델(PLM) 사전 훈련의 개선 여건인 데이터 품질, 모델 크기, 문자 수준 모델링에 대한 미충족된 연구를 다루기 위해.
• 아랍어 NLU 분야에서 체계적이고 재현 가능한 평가의 부족을 해결하기 위해 표준화된 벤치마크를 기반으로 포괄적인 실증 연구를 수행하기 위해.
• 분류 및 생성 작업에서 기존 최신 기술 모델을 능가하는 새로운 아랍어 BERT- 및 T5 스타일 모델을 개발하고 공개하기 위해.
• 공개된 테스트 세트를 갖춘 고품질의 랭킹 기반 벤치마크를 조성하여 아랍어 NLP 분야에서 신뢰할 수 있고 재현 가능한 평가를 보장하기 위해 권장하기 위해.

제안 방법

• 고품질로 필터링된 아랍어 텍스트 데이터(115GB)를 사용해 JABER를 사전 훈련하였으며, Byte Pair Encoding(BBPE)를 통한 개선된 정규화 및 토큰화로 기존 BERT 스타일 모델보다 뛰어난 성능을 달성하였다.
• 아랍어의 형태적 복잡성을 더 잘 포착하기 위해 문자 수준 표현을 통합함으로써 JABER를 확장하여 Char-JABER를 개발하였다.
• 369M 파라미터를 가진 BERT-large 모델인 SABER로 확장하여 아키텍처와 훈련 데이터를 향상시켜 시퀀스 분류 작업에서 성능 향상을 이룩하였다.
• 정제된 아랍어 텍스트와 최적화된 훈련 절차를 사용해 시퀀스 투 시퀀스 작업을 위한 두 개의 T5 스타일 모델, AT5S(소형) 및 AT5B(베이스)를 사전 훈련하였다.
• 재현 가능성 확보를 위해 ALUE(Arabic NLU 랭킹 보드)와 ARGEN(Arabic NLG 벤치마크)에서 체계적인 평가를 수행하였으며, 다중 실행 및 하이퍼파라미터 튜닝을 포함하였다.
• 모국어 사용자들을 대상으로 QG, EMD, TS 세 가지 생성 작업에서 인간 평가를 수행하여 BLEU 및 ROUGE와 같은 자동 지표를 초월한 모델 출력 품질을 검증하였다.

실험 결과

연구 질문

• RQ1 사전 훈련 데이터 품질, 모델 크기, 문자 수준 모델링 향상이 아랍어 BERT 스타일 PLM의 NLU 작업 성능에 어떤 영향을 미치는가?
• RQ2 T5 기반 아랍어 모델이 영어 작업에서는 우수한 성능을 보임에도 불구하고 ALUE 벤치마크에서는 BERT 기반 모델에 비해 성능이 열 劣하는 이유는 무엇인가?
• RQ3 BLEU 및 ROUGE와 같은 자동 지표가 아랍어 생성 모델 평가에서 인간 평가와 얼마나 상관이 있는가?
• RQ4 하이퍼파라미터 튜닝과 다중 실행을 포함한 체계적 평가가 랭킹 보드 전용 평가에 비해 모델 순위에 어떤 영향을 미치는가?
• RQ5 데이터 정제 및 정규화가 아랍어 PLM의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• JABER는 ALUE 랭킹 보드에서 기존 최고 성능 아랍어 PLM 베이스라인보다 1.5% 높은 성능을 기록하여 고품질로 필터링된 사전 훈련 데이터의 영향을 입증하였다.
• Char-JABER는 문자 수준 표현을 활용함으로써 ALUE에서 추가적인 성능 향상을 달성하였으며, 형태적 복잡성이 높은 아랍어에서 특히 유리함을 보였다.
• 369M 파라미터를 가진 BERT-large 모델인 SABER는 ALUE 벤치마크에서 새로운 최신 기술 성능을 수립하였으며, 아랍어 NLU 분야에서 모델 스케일링의 유용성을 확인하였다.
• AT5B는 생성 작업(QG, EMD, TS)에서 최신 기술 성능을 달성하였으며, 자동 지표와 인간 평가 양측 모두에서 AraT5-base를 능가하였으며, EMD 작업에서 인간 평가에서 53%의 수용률을 기록하였다.
• 인간 평가 결과, BLEU(예: EMD에서 2.0)와 같은 자동 지표는 모델 품질을 심각하게 과소 평가하는 것으로 드러났으며, 인간 평가자들이 AT5B를 53~65%의 경우에서 최고로 평가했음에도 불구하고 n-gram 겹침이 낮은 편이었다.
• 개발 세트에서의 성능 순위는 랭킹 보드 테스트 세트와 상당히 다름을 보이며, 사전 테스트 세트와 다중 실행을 포함한 체계적 평가의 필요성을 강조하였다.