[논문 리뷰] BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla

Abhik Bhattacharjee|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 정제된 방글라어 웹 텍스트('Bangla2B+') 27.5GB를 기반으로 미리 훈련한 BERT 기반 언어 모델인 BanglaBERT와, 방글라어 및 영어를 함께 훈련한 다국어 변종인 BanglishBERT를 소개한다. 저자들은 감성 분류, NLI, NER, QA를 포함한 네 가지 NLU 작업을 수행하는 첫 번째 방글라어 언어 이해 벤치마크(BLUB)를 구축하였으며, BanglaBERT가 mBERT와 XLM-R (base)보다 각각 6.8점과 4.3점 높은 BLUB 점수를 기록함으로써 다국어 모델을 능가하는 것을 입증하였다. 또한 강력한 제로샷 전이 성능을 보였다.

ABSTRACT

In this work, we introduce BanglaBERT, a BERT-based Natural Language Understanding (NLU) model pretrained in Bangla, a widely spoken yet low-resource language in the NLP literature. To pretrain BanglaBERT, we collect 27.5 GB of Bangla pretraining data (dubbed `Bangla2B+') by crawling 110 popular Bangla sites. We introduce two downstream task datasets on natural language inference and question answering and benchmark on four diverse NLU tasks covering text classification, sequence labeling, and span prediction. In the process, we bring them under the first-ever Bangla Language Understanding Benchmark (BLUB). BanglaBERT achieves state-of-the-art results outperforming multilingual and monolingual models. We are making the models, datasets, and a leaderboard publicly available at https://github.com/csebuetnlp/banglabert to advance Bangla NLP.

연구 동기 및 목표

• 3억 명이 넘는 사용자를 보유한 저자원 언어인 방글라어를 위한 고품질 대규모 미리 훈련 데이터의 부족 문제를 해결하기 위해.
• 기존의 다국어 모델보다 하류 작업에서 뛰어난 성능을 보이는 단일 언어 방글라어 NLU 모델인 BanglaBERT를 개발하기 위해.
• 이전에 방글라어 NLP에서 다뤄지지 않은, 방글라어 자연어 추론과 질의응답을 위한 두 가지 새로운 벤치마크 데이터셋을 소개하기 위해.
• 다양한 NLU 작업을 포함하는 종합적인 첫 번째 방글라어 언어 이해 벤치마크(BLUB)를 구축하기 위해.
• Bangla와 영어를 함께 훈련하여 제로샷 다국어 간 전이를 가능하게 하는 다국어 모델인 BanglishBERT를 미리 훈련하기 위해.

제안 방법

• 알렉사 순위 기반으로 110개의 인기 방글라어 웹사이트를 크롤링하여 원시 텍스트 35GB를 확보하고, 이를 정제 및 필터링하여 고품질의 방글라어 텍스트 27.5GB로 변환.
• 중복 제거, HTML/JS 태그 제거, 언어 분류를 통해 방글라어 콘텐츠를 정확히 분리하는 전처리 작업 수행.
• 청소된 코퍼스 기반으로 훈련된 32,000 어휘의 WordPiece 토크나이저를 구축하여 코드 스위칭 및 로마자 표기 방글라어를 지원.
• 718만 개 샘플(21.8억 토큰)을 대상으로 마스크된 언어 모델링(MLM)과 다음 문장 예측(NSP) 목적함수를 사용해 BanglaBERT를 미리 훈련.
• 방글라어 및 영어 데이터를 함께 훈련하여 제로샷 다국어 간 전이를 가능하게 하는 BanglishBERT를 공동으로 미리 훈련.
• 새로운 BLUB 벤치마크를 사용하여 감성 분류, NLI, NER, QA의 네 가지 하류 작업에서 모델을 평가.

실험 결과

연구 질문

• RQ1 단일 언어, 특정 언어 기반 BERT 모델이 다국어 모델보다 방글라어 NLU 작업에서 뛰어난 성능을 내는가?
• RQ2 BanglishBERT와 같은 다국어 모델을 통해 영어에서 방글라어로의 제로샷 다국어 간 전이가 얼마나 효과적인가?
• RQ3 제한된 레이블된 데이터로 미세조정할 때, BanglaBERT와 같은 저자원 NLP 모델의 샘플 효율성은 어떠한가?
• RQ4 노이즈가 많은 오픈소스 데이터셋(예: OSCAR 또는 CCNet)을 사용하는 것과 비교해, 정제된 대규모 방글라어 코퍼스로 미리 훈련하는 것이 어떤 영향을 미치는가?
• RQ5 새로운 벤치마크(BLUB)가 방글라어 NLP 연구를 표준화하고 얼마나 진전시키는가?

주요 결과

• 모든 네 가지 작업에서 감성 분류, NLI, NER, QA를 포함한 감독 미세조정 테스트에서 BanglaBERT는 mBERT와 XLM-R (base)보다 각각 6.8점과 4.3점 높은 BLUB 점수를 기록했다.
• 제로샷 다국어 간 전이 테스트에서 BanglishBERT는 mBERT와 XLM-R (base)보다 각각 15.8점과 10.8점 높은 BLUB 점수를 기록했다.
• 제한된 학습 데이터(≤1,000개 샘플)에서 BanglaBERT는 감성 분류 작업에서 XLM-R (large)보다 2–9% 높은 정확도를 기록했으며, NLI 작업에서는 6–10% 높은 정확도를 기록했고, p < 0.05의 통계적 유의성 존재.
• BanglaBERT는 계산 효율성이 뛰어나, 미세조정 시 더 작은 sahajBERT 모델 대비 2–3.5배 빠른 시간과 2.4–3.33배 적은 메모리 사용량을 보였다.
• 저자들은 저작권 침해가 없는 미리 훈련된 데이터셋과 NLI 및 QA를 위한 두 가지 새로운 고품질 하류 데이터셋을 정제 및 배포하는 데 성공했다.
• 모델과 벤치마크는 비상업적 라이선스 하에 배포되었으며, 품질 제어가 된 인간 번역 파이프라인을 통해 데이터셋 신뢰성이 확보되었다.