[논문 리뷰] BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding.

Abhik Bhattacharjee, Tahmid Hasan외 4명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 14인용 수 19

한 줄 요약

BanglaBERT는 자연어처리 분야에서 자원이 부족한 방글라어를 다루기 위해 인터넷에서 크롤링한 18.6GB의 단일 언어 방글라어 텍스트를 기반으로 사전 훈련한 BERT 기반 언어 모델을 제안한다. 이 모델은 네 가지 하류 작업에서 다국어 기반 모델 대비 1–6% 높은 성능을 기록하며, 비라틴 문자를 사용하는 자원이 부족한 언어에 영향을 미치는 새로운 '임베딩 장벽'을 규명한다.

ABSTRACT

Pre-training language models on large volume of data with self-supervised objectives has become a standard practice in natural language processing. However, most such state-of-the-art models are available in only English and other resource-rich languages. Even in multilingual models, which are trained on hundreds of languages, low-resource ones still remain underrepresented. Bangla, the seventh most widely spoken language in the world, is still low in terms of resources. Few downstream task datasets for language understanding in Bangla are publicly available, and there is a clear shortage of good quality data for pre-training. In this work, we build a Bangla natural language understanding model pre-trained on 18.6 GB data we crawled from top Bangla sites on the internet. We introduce a new downstream task dataset and benchmark on four tasks on sentence classification, document classification, natural language understanding, and sequence tagging. Our model outperforms multilingual baselines and previous state-of-the-art results by 1-6%. In the process, we identify a major shortcoming of multilingual models that hurt performance for low-resource languages that don't share writing scripts with any high resource one, which we name the `Embedding Barrier'. We perform extensive experiments to study this barrier. We release all our datasets and pre-trained models to aid future NLP research on Bangla and other low-resource languages. Our code and data are available at this https URL.

연구 동기 및 목표

• 자원이 부족한 방글라어의 고품질 사전 훈련 데이터와 하류 데이터셋의 부족함을 해결하기 위해, 전 세계적으로 널리 사용되는 방글라어에 대해.
• 기존의 다국어 모델보다 방글라어 전용 자연어처리 작업에서 뛰어난 성능을 보이는 전용 방글라어 언어 모델을 개발하기 위해.
• 자원이 부족한 비라틴 문자를 사용하는 언어에 대해 다국어 모델의 주요 성능 제약 사항을 규명하고 분석하기 위해, 이를 '임베딩 장벽'이라 명명한다.
• 향후 연구를 지원하기 위해 새로운 벤치마크 데이터셋과 사전 훈련 모델을 공개하기 위해.

제안 방법

• 인터넷 상의 주요 방글라어 웹사이트에서 수집한 18.6GB의 단일 언어 방글라어 텍스트를 기반으로 BERT 스타일 트랜스포머 모델을 사전 훈련하기 위해.
• 크롤링한 방글라어 코퍼스에서 마스크된 언어 모델링과 다음 문장 예측을 자율 학습 목표로 사용하여 사전 훈련하기 위해.
• 문장 분류, 문서 분류, 자연어 이해, 시퀀스 태깅의 네 가지 작업을 포함하는 새로운 하류 벤치마크를 구축하기 위해.
• 새로운 벤치마크에서 BanglaBERT의 성능을 다국어 BERT 및 기타 최신 모델들과 비교하기 위해.
• 비라틴 문자 언어에 대해 모델 성능에 영향을 미치는 '임베딩 장벽'의 영향을 분리하기 위해 추론 실험을 수행하기 위해.
• 연구 공동체에 사전 훈련 모델 가중치, 미세조정된 모델, 모든 벤치마크 데이터셋을 공개하기 위해.

실험 결과

연구 질문

• RQ1 단일 언어 방글라어 BERT 모델은 하류 방글라어 자연어처리 작업에서 다국어 모델 대비 어떻게 성능을 내는가?
• RQ2 비라틴 문자를 사용하는 자원이 부족한 언어인 방글라어에 적용했을 때 다국어 모델의 주요 성능 제약 사항은 무엇인가?
• RQ3 다국어 사전 훈련 대비 대규모 단일 언어 방글라어 코퍼스에서의 사전 훈련이 하류 작업 성능 향상에 얼마나 기여하는가?
• RQ4 다국어 모델에서 비라틴 문자 언어에 대해 '임베딩 장벽'이 경험적으로 확인되고 정량화될 수 있는가, 이것이 별개의 성능 저하 요인인가?

주요 결과

• Bang라BERT는 네 가지 하류 작업 전반에서 최고 성능을 기록하며, 다국어 기반 모델 대비 1–6% 높은 성능을 보였다.
• 모델은 문장 및 문서 분류, 시퀀스 태깅, 자연어 이해 작업에서 성능 향상이 뚜렷하게 관찰되었다.
• 다국어 모델이 방글라어에 적용되었을 때 뚜렷한 성능 격차가 발생했으며, 이는 '임베딩 장벽'으로 인한 것으로 분석되었다. 이는 비라틴 문자 언어가 교차 언어 전이에서 열악한 성능을 보이는 현상이다.
• '임베딩 장벽'은 다국어 모델의 주요 제약 요소로 규명되었으며, 특히 고자원 언어와 글자 체계를 공유하지 않는 자원이 부족한 언어에 특히 영향을 미친다.
• 광범위한 추론 실험을 통해 다국어 모델의 성능 저하가 자료 부족 때문만은 아니며, 글자 체계 불일치로 악화됨을 확인했다.
• 사전 훈련 모델, 미세조정된 모델, 벤치마크 데이터셋의 공개는 향후 방글라어 및 유사한 자원이 부족한 언어에 대한 연구를 가속화할 것으로 기대된다.