[논문 리뷰] BanglaBERT: Combating Embedding Barrier in Multilingual Models for Low-Resource Language Understanding

Abhik Bhattacharjee, Tahmid Hasan외 5명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 44인용 수 11

한 줄 요약

이 논문은 18.6GB의 방글라어 텍스트를 기반으로 미세조정된 다국어 언어 모델인 BanglaBERT를 소개한다. 이는 고자원 언어의 스크립트와 다름이 큰 저자원 언어에서 발생하는 '임bedding 장벽'(Embedding Barrier) 문제를 해결하기 위한 것이다. 방글라어를 공통 스크립트로 변환함으로써 모델 성능을 향상시켜, 다섯 가지 자연어 이해(NLU) 작업과 새로운 방글라어 NLI 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전 모델 대비 최대 3.5% 향상된 성과이다.

ABSTRACT

In this paper, we introduce ``Embedding Barrier'', a phenomenon that limits the monolingual performance of multilingual models on low-resource languages having unique typologies. We build `BanglaBERT', a Bangla language model pretrained on 18.6 GB Internet-crawled data and benchmark on five standard NLU tasks. We discover a significant drop in the performance of the state-of-the-art multilingual model (XLM-R) from BanglaBERT and attribute this to the Embedding Barrier through comprehensive experiments. We identify that a multilingual model's performance on a low-resource language is hurt when its writing script is not similar to any of the high-resource languages. To tackle the barrier, we propose a straightforward solution by transcribing languages to a common script, which can effectively improve the performance of a multilingual model for the Bangla language. As a bi-product of the standard NLU benchmarks, we introduce a new downstream dataset on natural language inference (NLI) and show that BanglaBERT outperforms previous state-of-the-art results on all tasks by up to 3.5%. We are making the BanglaBERT language model and the new Bangla NLI dataset publicly available in the hope of advancing the community. The resources can be found at \url{https://github.com/csebuetnlp/banglabert}.

연구 동기 및 목표

• 고유한 스크립트를 가진 저자원 언어에서 다국어 모델 성능을 저하시키는 '임베딩 장벽' 현상의 규명 및 해결.
• 고유한 스크립트를 가진 저자원 언어인 방글라어에서 다국어 모델의 단일 언어 성능 향상.
• 공통 스크립트로의 스크립트 변환을 활용한 실용적인 해법 개발을 통한 다국어 간 전이 성능 향상.
• 새로운 공개 NLI 데이터셋을 도입하여 방글라어 자연어 이해에 대한 새로운 벤치마크 설정.

제안 방법

• 인터넷 크롤링을 통해 확보한 18.6GB의 방글라어 텍스트를 기반으로 BERT 기반 모델을 사전학습하여 BanglaBERT를 구축.
• 다국어 모델에서 고자원 언어와 스크립트가 크게 다를 경우 성능 저하가 발생하는 '임베딩 장벽'을 정의하고 실험적으로 검증.
• 스크립트 변환 기반 솔루션 제안: 방글라어 텍스트를 공통 스크립트(예: 라틴 문자)로 변환하여 다국어 임베딩과의 정렬도 향상.
• 다섯 가지 표준 NLU 작업, 포함해 새로 도입된 자연어 추론(NLI) 데이터셋에 대해 BanglaBERT를 미세조정.
• 여러 벤치마크에서 XLM-R 및 이전 최신 기술 수준의 모델과의 성능 비교.
• 학습된 모델과 새로운 방글라어 NLI 데이터셋을 공개하여 공동 연구 지원.

실험 결과

연구 질문

• RQ1 고유한 스크립트를 가진 저자원 언어인 방글라어에서 '임베딩 장벽'이 다국어 모델 성능에 얼마나 심각하게 영향을 미치는가?
• RQ2 방글라어를 공통 스크립트로 변환하는 것이 다국어 모델의 방글라어 NLU 작업 성능을 상당히 향상시킬 수 있는가?
• RQ3 표준 방글라어 NLU 벤치마크에서 BanglaBERT는 XLM-R 및 이전 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?
• RQ4 이전 모델 대비 새로 도입된 방글라어 NLI 데이터셋에서 BanglaBERT는 어떤 성능 향상을 달성하는가?
• RQ5 제안된 스크립트 변환 기반 방법은 비라틴 스크립트를 사용하는 다른 저자원 언어의 문제 해결에 일반화될 수 있는가?

주요 결과

• Bang라BERT는 다섯 가지 표준 NLU 작업 전반에서 XLM-R를 앞서며, 임베딩 장벽를 극복함으로써 상당한 성능 향상을 보였다.
• XLM-R에서 방글라어 성능 저하의 직접 원인은 스크립트 불일치에 기인하며, 이는 임베딩 장벽의 존재를 확인한다.
• 방글라어 텍스트를 공통 스크립트로 변환하는 것은 다국어 모델 간 정렬도 향상시키며, 후속 작업에서 측정 가능한 성능 향상을 이끌어낸다.
• BanglaBERT는 평가된 모든 작업에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전 모델 대비 최대 3.5% 향상된 결과이다.
• 새로 도입된 방글라어 NLI 데이터셋은 향후 방글라어 자연어 이해 분야의 연구를 위한 표준화된 벤치마크를 제공한다.