[논문 리뷰] DziriBERT: a Pre-trained Language Model for the Algerian Dialect

Amine Abdaoui, Mohamed Berrimi외 2명|arXiv (Cornell University)|2021. 09. 25.

Natural Language Processing Techniques참고 문헌 22인용 수 7

한 줄 요약

DziriBERT는 110만 개의 알제리 방언 트윗을 기반으로 사전 훈련한 BERT 기반 언어 모델로, 이는 자원이 부족한 로마 문자를 사용하는 이슬람어 방언에 대한 NLP 자원의 부족을 해결하기 위해 개발되었다. 다른 모델들보다 훨씬 적은 데이터(150MB)로 훈련되었음에도 불구하고, 감성, 정서, 주제 분류 작업에서 최신 기술 수준의 성능을 달성하였으며, 특히 로마 문자(아라비지)에서 다국어 및 아랍어 전용 모델인 XLM-R과 MARBERT를 능가하였다.

ABSTRACT

Pre-trained transformers are now the de facto models in Natural Language Processing given their state-of-the-art results in many tasks and languages. However, most of the current models have been trained on languages for which large text resources are already available (such as English, French, Arabic, etc.). Therefore, there are still a number of low-resource languages that need more attention from the community. In this paper, we study the Algerian dialect which has several specificities that make the use of Arabic or multilingual models inappropriate. To address this issue, we collected more than one million Algerian tweets, and pre-trained the first Algerian language model: DziriBERT. When compared with existing models, DziriBERT achieves better results, especially when dealing with the Roman script. The obtained results show that pre-training a dedicated model on a small dataset (150 MB) can outperform existing models that have been trained on much more data (hundreds of GB). Finally, our model is publicly available to the community.

연구 동기 및 목표

• 알제리 방언, 즉 소셜 미디어에서 광범위하게 사용되는 사회언어학적 영향력이 큰 저자원 언어에 대한 NLP 자원의 부족을 해결하기 위해.
• 기존의 다국어 및 아랍어 전용 모델이 알제리 방언의 고유한 특징(로마 문자, 혼합 스크립트)을 고려하지 못하는 한계를 극복하기 위해.
• 작은 도메인 특화 훈련 데이터로도 저자원 NLP에서 높은 성능을 달성할 수 있음을 입증하기 위해.
• 알제리 방언을 위한 공개 가능하고 전용의 언어 모델을 제공하여 후속 NLP 응용 프로그램을 지원하기 위해.

제안 방법

• 트위터 API를 사용해 알제리 도시에서 수집한 120만 개의 트윗을 확보하고, 방언 표현과 다국어 스크립트를 포함한 데이터를 필터링하였다.
• 사용자 언급, 이메일, URL을 익명화하여 전처리한 결과, 훈련 및 평가에 사용할 수 있는 110만 개의 고유한 트윗(150MB)을 확보하였다.
• 모르픽 및 철자 변형을 다루기 위해 50,000개의 어휘 크기로 WordPiece 토크나이저를 훈련 데이터 기반으로 학습시켰다.
• 마스크된 언어 모델링을 사용하여 BERT-base 아키텍처(12층, 768개의 히든 차원, 12개의 어텐션 헤드)를 훈련하였으며, 25%의 마스크 확률을 적용하고 다음 문장 예측 작업은 생략하였다.
• T4 GPU를 탑재한 AWS g4dn.2xlarge 인스턴스를 사용해 50 에포크(약 80만 스텝) 동안 훈련하였고, 10일 만에 수렴을 달성하였다.
• 최종 모델를 Hugging Face Transformers Hub에 공개하여 향후 후속 작업에 대한 미세조정을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 소규모 도메인 특화 데이터셋(150MB)으로 사전 훈련된 BERT 기반 모델이 알제리 방언에서 다국어 및 아랍어 전용 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 로마 문자(아라비지)로 작성된 알제리 방언과 아랍 문자로 작성된 알제리 방언을 다룰 때 사전 훈련된 모델의 성능는 어떻게 다를까?
• RQ3 일반적인 다국어 또는 아랍어 모델에 비해 알제리 방언 전용 모델이 후속 NLP 작업에서 얼마나 향상된 성능을 보일 수 있는가?
• RQ4 어휘 크기와 모델 파rameter 수를 줄이면 성능을 유지하면서도 배포 효율성이 향상될 수 있는가?

주요 결과

• DziriBERT는 아랍 문자로 작성된 Twifil 데이터셋에서 감성 분류 작업에서 81.1%의 F1 스코어로 최신 기술 수준의 결과를 기록하였으며, mBERT, XLM-R, AraBERT를 모두 능가하였다.
• 로마 문자로 작성된 Narabizi 데이터셋에서는 감성 분류에서 63.5%의 정확도, 주제 분류에서 62.8%의 정확도를 기록하였으며, MARBERT보다 각각 +5.5%, +13.8% 높은 성능을 보였다.
• 단지 150MB의 데이터로 훈련되었음에도 불구하고, 128GB의 텍스트로 사전 훈련된 MARBERT를 능가함으로써, 저자원 환경에서도 데이터 효율성이 가능하다는 점을 입증하였다.
• 50,000개의 어휘 크기를 가진 DziriBERT는 모델 크기(498MB)와 파라미터 수(1억 2,400만 개)가 대부분의 기준 모델보다 작아, 공용 클라우드 플랫폼에서의 배포가 더 수월하다.
• 로마 문자에서의 성능 격차는 기존 다국어 모델이 비표준 철자 체계를 다루는 데 어려움을 겪는다는 점을 강조하며, DziriBERT의 우월성을 입증한다.
• 오류 분석 결과, DziriBERT는 MARBERT보다 비알제리 아랍어 콘텐츠에서 더 어려움을 겪는 것으로 나타났으며, 이는 DziriBERT의 강점이 광범위한 다국어성보다는 방언 특화 일반화에 있음을 시사한다.