[논문 리뷰] Arabic Dialect Identification Using BERT-Based Domain Adaptation

Ahmad Beltagy, Abdelrahman Wael외 1명|arXiv (Cornell University)|2020. 11. 13.

Natural Language Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 레이블이 없는 트위터 데이터로 미세조정된 AraBERT을 사용하여 아랍어 방언 식별을 위한 BERT 기반 도메인 적응 방법을 제안한다. 광범위한 텍스트 정제, 데이터 증강, 및 마스킹 언어 모델링 미세조정을 적용함으로써, 이 방법은 NADI 공동 과제에서 21개 방언 중 4위에 해당하는 23.09%의 F1 매크로 스코어를 달성하였으며, 강력한 준지도 학습 딥 러닝 프레임워크를 구현하였다.

ABSTRACT

Arabic is one of the most important and growing languages in the world. With the rise of social media platforms such as Twitter, Arabic spoken dialects have become more in use. In this paper, we describe our approach on the NADI Shared Task 1 that requires us to build a system to differentiate between different 21 Arabic dialects, we introduce a deep learning semi-supervised fashion approach along with pre-processing that was reported on NADI shared Task 1 Corpus. Our system ranks 4th in NADI's shared task competition achieving a 23.09% F1 macro average score with a simple yet efficient approach to differentiating between 21 Arabic Dialects given tweets.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 21개의 아랍어 방언을 식별하는 데 있어 데이터 불균형과 노이즈가 많은 샘플로 인한 과제를 해결하기 위해.
• 사전 훈련된 BERT 모델을 활용한 준지도 학습 딥 러닝 접근법을 통해 분류 성능을 향상시키기 위해.
• 성경 구절과 영어 단어와 같은 노이즈 데이터의 영향을 타깃 텍스트 전처리를 통해 완화하기 위해.
• 마스킹 언어 모델링을 통한 미세조정을 통해 레이블이 없는 트위터 데이터에 대해 AraBERT을 미세조정하여 도메인 적응을 위한 모델 일반화 능력을 향상시키기 위해.
• 소자원 클래스에서 성능 향상을 목적으로, BERT와 나이브 베이즈를 조합한 하이브리드 아키텍처를 탐색하기 위해.

제안 방법

• 정규식과 PyArabic를 사용하여 URL, 멘션,标 punctuations, 영어 문자, 이모티콘, 타시릴을 제거하고, 연속된 문자를 정규화하는 방식으로 텍스트 정제를 수행하였다.
• 어형 분석을 향상시키기 위해 Farasa Segmenter를 사용하여 접두사와 접미사를 어간에서 분리하는 단어 분할을 수행하였다.
• 훈련 세트의 클래스 불균형을 해결하기 위해 소수의 클래스에 대해 오버샘플링을 수행하였다.
• 목표 도메인에 맞게 사전 훈련된 모델을 적응시키기 위해, 마스킹 언어 모델링(MLM)을 사용하여 레이블이 없는 NADI 트위터 코퍼스에 대해 AraBERT을 미세조정하였다.
• 하이브리드 모델은 AraBERT과 나이브 베이즈를 조합하였으며, 먼저 AraBERT이 트윗을 주요 또는 소수 방언 그룹으로 분류하고, 나이브 베이즈가 소수 클래스 예측을 추가로 분류하였다.
• 최종 모델은 도메인 적응된 AraBERT를 사용한 단일 트랜스포머 헤드를 갖추고, 정제 및 증강된 데이터에 대해 엔드 투 엔드로 훈련하여 NADI 벤치마크에서 최고 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 레이블이 없는 트위터 데이터에 대해 마스킹 언어 모델링 미세조정을 통한 도메인 적응이 아랍어 방언 식별에 얼마나 효과적인가?
• RQ2 텍스트 정제 및 데이터 증강이 소자원 아랍어 방언에서의 성능 향상에 어느 정도 기여하는가?
• RQ3 BERT와 나이브 베이즈를 조합한 하이브리드 모델이 소수 방언 클래스에 대해 순수 BERT 기반 분류기보다 성능이 뛰어나게 되는가?
• RQ4 성경 구절과 영어 단어와 같은 노이즈 요소가 모델 성능에 미치는 영향은 무엇이며, 정제 과정이 이를 완화할 수 있는가?
• RQ5 각 구성 요소(정제, 오버샘플링, MLM 미세조정)가 전체 F1 스코어 향상에 기여하는 정도는 어떠한가?

주요 결과

• 정제나 데이터 증강 없이 기초 AraBERT 모델은 개발 세트에서 F1 스코어 18.6%를 기록하여 향상 여지가 크다는 것을 시사하였다.
• 정제만으로도 F1 스코어가 20.54%로 향상되어 노이즈가 많고 일관성 없는 언어적 특징을 정제하는 것이 효과적임을 입증하였다.
• 정제와 오버샘플링을 조합하면 F1 스코어가 21.33%로 상승하여, 클래스 불균형 문제를 해결하는 것이 소수 방언 인식에 도움이 된다는 것을 보여주었다.
• 레이블이 없는 트위터 데이터에 대해 마스킹 언어 모델링을 통한 AraBERT 미세조정이 가장 큰 성능 향상을 이끌었으며, 개발 세트에서 F1 스코어를 24.43%까지 상승시켰다.
• 최종 모델은 테스트 세트에서 매크로 F1 스코어 23.09%를 기록하여 NADI 공동 과제에서 4위를 차지하였으며, 도메인 적응의 효과성을 입증하였다.
• 하이브리드 AraBERT + 나이브 베이즈 모델은 F1 스코어 22.3%를 기록하였으나, 순수 AraBERT 접근 방식보다 성능이 떨어져 이 설정에서는 단순한 모델이 복잡한 앙상블보다 더 효과적임을 시사하였다.