[論文レビュー] BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding.

Abhik Bhattacharjee, Tahmid Hasan+4 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 14被引用数 19

ひとこと要約

BanglaBERTは、NLPにおけるバングラ語の低リソース性に対処するため、18.6 GBのクロール済みバングラ語テキストで事前学習された単語言語モデルを導入した。4つの下流タスクにおいて、多言語ベースラインを1〜6%上回り、非ラテン文字 script を使用する低リソース言語に影響を及ぼす新たな「埋め込み障害（Embedding Barrier）」を特定した。

ABSTRACT

Pre-training language models on large volume of data with self-supervised objectives has become a standard practice in natural language processing. However, most such state-of-the-art models are available in only English and other resource-rich languages. Even in multilingual models, which are trained on hundreds of languages, low-resource ones still remain underrepresented. Bangla, the seventh most widely spoken language in the world, is still low in terms of resources. Few downstream task datasets for language understanding in Bangla are publicly available, and there is a clear shortage of good quality data for pre-training. In this work, we build a Bangla natural language understanding model pre-trained on 18.6 GB data we crawled from top Bangla sites on the internet. We introduce a new downstream task dataset and benchmark on four tasks on sentence classification, document classification, natural language understanding, and sequence tagging. Our model outperforms multilingual baselines and previous state-of-the-art results by 1-6%. In the process, we identify a major shortcoming of multilingual models that hurt performance for low-resource languages that don't share writing scripts with any high resource one, which we name the `Embedding Barrier'. We perform extensive experiments to study this barrier. We release all our datasets and pre-trained models to aid future NLP research on Bangla and other low-resource languages. Our code and data are available at this https URL.

研究の動機と目的

• バングラ語は世界的に広く使用されているが、低リソース言語であるため、高品質な事前学習データと下流タスクデータセットの不足に対処すること。
• 既存の多言語モデルを上回る性能を示す、バングラ語に特化した言語モデルの開発。
• 非ラテン文字 script を使用する低リソース言語において、多言語モデルに見られる重要な性能制限要因を同定・分析すること。この要因は「埋め込み障害（Embedding Barrier）」と呼ばれる。
• 今後の研究を支援するため、新しいベンチマークデータセットと事前学習済みモデルを公開すること。

提案手法

• インターネット上からトップバングラ語ウェブサイトから収集した18.6 GBの単語言語バングラ語テキストを用いて、BERT風のトランスフォーマー・モデルを事前学習する。
• クロール済みバングラ語コーパス上で、マスキング言語モデルと次文予測を自己教師付き事前学習目的として使用する。
• 文分類、文書分類、自然言語理解、シーケンスタギングの4つのタスクをカバーする新しい下流ベンチマークを構築する。
• 新ベンチマーク上で、BanglaBERTの性能を多言語BERTおよび他の最先端モデルと比較する。
• 非ラテン文字 script を使用する言語におけるモデル性能に与える「埋め込み障害」の影響を分離するためのアブレーションスタディを実施する。
• 研究コミュニティに、事前学習済みモデル重み、ファインチューニング済みモデル、およびすべてのベンチマークデータセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 単語言語バングラ語BERTモデルは、下流タスクにおける多言語モデルと比較して、どの程度の性能を示すか？
• RQ2 非ラテン文字 script を使用する低リソース言語（例：バングラ語）に適用した場合、多言語モデルに見られる主な性能制限要因は何か？
• RQ3 多言語事前学習と比較して、大規模な単語言語バングラ語コーパスで事前学習することで、下流タスクの性能がどの程度向上するか？
• RQ4 多言語モデルにおける非ラテン文字 script を使用する言語の性能ボトルネックとして、「埋め込み障害」を実証的に同定・定量化できるか？

主な発見

• BanglaBERTは、4つの下流タスクすべてで最先端の性能を達成し、多言語ベースラインを1〜6%上回った。
• 文分類および文書分類、シーケンスタギング、自然言語理解タスクにおいて、顕著な性能向上が確認された。
• 多言語モデルがバングラ語に適用された際、顕著な性能ギャップが観察された。著者らは、この要因を「埋め込み障害（Embedding Barrier）」—非ラテン文字 script を使用する言語が、劣ったクロスリンガル転送を経験することに起因すると特定した。
• 「埋め込み障害」は、多言語モデルにおける主要な制限要因であり、特に高リソース言語と書記体系を共有しない低リソース言語に顕著に影響を及ぼす。
• 広範なアブレーションスタディにより、多言語モデルの性能低下がデータ不足によるものではないことが確認されたが、文字体系の不適合がその要因を悪化させていることが判明した。
• 事前学習済みモデル、ファインチューニング済みモデル、ベンチマークデータセットの公開により、バングラ語および類似の低リソース言語に関する今後の研究が加速すると期待される。