[논문 리뷰] JABER and SABER: Junior and Senior Arabic BERt

Abbas Ghaddar, Yimeng Wu외 11명|arXiv (Cornell University)|2021. 12. 08.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 개선된 훈련 레시피를 사용한 새로운 사전 훈련된 아랍어 BERT 모델인 JABER(12층)와 SABER(24층)를 소개한다. 이는 BBPE 토큰화, 데이터 정제, 최적화된 초모수를 포함한다. 이 모델들은 ALUE 벤치마크에서 최고 성능(평균 점수 77.3%)을 기록했으며, ARBERT 및 MARBERT와 같은 기존 모델들을 능가했으며, SABER는 JABER보다 평균 3.6% 향상된 성능을 보였다.

ABSTRACT

Language-specific pre-trained models have proven to be more accurate than multilingual ones in a monolingual evaluation setting, Arabic is no exception. However, we found that previously released Arabic BERT models were significantly under-trained. In this technical report, we present JABER and SABER, Junior and Senior Arabic BERt respectively, our pre-trained language model prototypes dedicated for Arabic. We conduct an empirical study to systematically evaluate the performance of models across a diverse set of existing Arabic NLU tasks. Experimental results show that JABER and SABER achieve state-of-the-art performances on ALUE, a new benchmark for Arabic Language Understanding Evaluation, as well as on a well-established NER benchmark.

연구 동기 및 목표

• 기존 아랍어 BERT 모델의 과소 훈련 문제를 해결하기 위해 사전 훈련 레시피를 재평가하고 개선한다.
• 기존의 단일 언어 및 다국어 모델들을 능가하는 특화된 아랍어 언어 모델—JABER(12층)와 SABER(24층)—을 개발한다.
• ALUE 및 ANER corp를 사용하여 다양한 NLU 작업 간에 아랍어 BERT 모델을 공정하게 비교할 수 있는 체계적인 벤치마킹 프레임워크를 수립한다.
• 데이터 컬렉션 및 훈련 절차를 최적화하여 MSA, 방언, 소셜 미디어 텍스트 간의 일반화 능력을 향상시킨다.
• 재현 가능성과 아랍어 NLP 분야의 향후 연구를 지원하기 위해 오픈소스 가중치 및 코드를 공개한다.

제안 방법

• 저품질 또는 중복된 콘텐츠를 제거하기 위해 광범위한 데이터 정제 및 필터링을 거친 후, 115GB의 아랍어 텍스트 코퍼스를 사용해 JABER와 SABER를 사전 훈련했다. 이 코퍼스의 중복 요소 비율은 3이다.
• 아랍어의 형태적 복잡성을 더 잘 다루기 위해 WordPiece 대신 BBPE(바이트 쌍 인코딩) 토큰화를 적용하였다.
• 전처리 단계에서 정규화를 적용하여 아랍어 텍스트의 표준화를 도모함으로써, 음절 표기 및 철자 변형에 대한 모델의 강건성을 향상시켰다.
• 표현 학습을 향상시키기 위해 RoBERTa 스타일의 개선 사항을 따르며, 동적 마스킹과 더 긴 시퀀스 길이(512 토큰)를 사용해 모델을 훈련시켰다.
• JABER는 15 에포크, SABER는 5 에포크의 훈련 스케줄을 사용하였으며, 더 큰 배치 크기와 최적화된 학습률 스케줄을 적용하였다.
• 평가를 위해 ALUE(8개의 다양한 아랍어 NLU 작업)와 ANER corp(이름 있는 엔터티 인식)와 같은 다양한 다운스트림 작업에서 모델을 미세조정하였다.

실험 결과

연구 질문

• RQ1 기존에 발표된 모델들과 비교해 재최적화된 사전 훈련 레시피가 아랍어 BERT 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 데이터 정제, 정규화, BBPE 토큰화가 다양한 NLU 작업 전반에서 아랍어 BERT 성능에 얼마나 기여하는가?
• RQ3 더 깊은 아키텍처(SABER, 24층)가 아랍어 NLU 벤치마크에서 얕은 모델(JABER, 12층)보다 유의미하게 뛰어난 성능을 보일 수 있는가?
• RQ4 특정 도메인에 대해 별도의 사전 훈련 없이도 단일 아랍어 BERT 모델이 MSA, 방언, 소셜 미디어 텍스트 전반에 걸쳐 효과적으로 일반화할 수 있는가?
• RQ5 ALUE 및 ANER corp와 같은 표준화된 벤치마크에서 JABER와 SABER는 ARBERT 및 MARBERT와 같은 기존 SOTA 모델들과 비교해 어떻게 성능을 냈는가?

주요 결과

• SABER는 ALUE 벤치마크에서 새로운 SOTA 평균 점수 77.3%를 기록하여, 이전에 발표된 모든 모델들을 능가했다.
• JABER는 동일한 아키텍처와 파라미터 수를 가짐에도 불구하고 ALUE 벤치마크에서 ARBERT보다 평균 2% 높은 성능을 보였다.
• SABER는 모든 ALUE 작업에서 JABER보다 평균 3.6% 향상된 성능을 기록하여, 더 깊은 아키텍처와 최적화된 훈련의 유용성을 입증했다.
• ANER corp NER 벤치마크에서 JABER는 84.20%의 최고 F1 점수를 기록하여, MARBERT(80.50%) 및 기타 기준 모델들을 크게 앞섰다.
• JABER는 다른 BERT-base 모델들보다 작업 간 변동성이 낮아 더 안정적이고 강건한 성능을 보였다.
• XNLI(+12.4%) 및 MQ2Q(+7.5%)와 같은 도전적인 작업에서 JABER와 Arabic-BERT 간의 성능 격차가 특히 크게 나타나, 향상된 일반화 능력을 시사했다.