[論文レビュー] RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning

Usama Khalid, Mirza Omer Beg+1 more|arXiv (Cornell University)|Feb 22, 2021

Natural Language Processing Techniques参考文献 52被引用数 7

ひとこと要約

この論文では、英語BERTからのクロスリンガウルトランスファーを活用して、新規の5400万トークン分のローマ・ウルドゥー語ツイートコーパス上で追加事前訓練された二言語対応のローマ・ウルドゥー語BERTモデル、RUBERTを紹介する。RUBERTは、モノリンガルおよびマルチリンガルの対比モデルを上回り、MLM（0.23）およびNSP（0.95）の精度が最高を記録した。これは、ローリソース言語としてのローマ・ウルドゥー語に対して、強力なモノリンガルベースからの二言語微調整が、マルチリンガル事前訓練よりも効果的であることを示している。

ABSTRACT

In recent studies, it has been shown that Multilingual language models underperform their monolingual counterparts. It is also a well-known fact that training and maintaining monolingual models for each language is a costly and time-consuming process. Roman Urdu is a resource-starved language used popularly on social media platforms and chat apps. In this research, we propose a novel dataset of scraped tweets containing 54M tokens and 3M sentences. Additionally, we also propose RUBERT a bilingual Roman Urdu model created by additional pretraining of English BERT. We compare its performance with a monolingual Roman Urdu BERT trained from scratch and a multilingual Roman Urdu BERT created by additional pretraining of Multilingual BERT. We show through our experiments that additional pretraining of the English BERT produces the most notable performance improvement.

研究の動機と目的

• 公開可能な大規模なローマ・ウルドゥー語NLPリソースの不足を解消するため、スクレイピングされたツイートから300万文・5400万トークンの新規大規模コーパスを構築すること。
• 南アジアのソーシャルメディアで広く使われているリソースが乏しい言語としてのローマ・ウルドゥー語の低リソース言語モデリングを、クロスリンガウルトランスファーラーニングを活用して向上させること。
• ローマ・ウルドゥー語に対して、モノリンガル英語BERTモデル上で追加事前訓練を施すことで、スクラッチからの学習やマルチリンガルモデルでの追加事前訓練よりも優れた性能が得られるかどうかを検証すること。
• 二言語言語モデリング（新しい言語を事前学習済みモノリンガルモデルを用いて微調整する手法）が、低リソース言語に対してマルチリンガル事前訓練を上回る性能を発揮することを実証すること。

提案手法

• 研究者たちは、公開可能なTwitterデータから、3,040,153文および54,622,490トークンを含む大規模なローマ・ウルドゥー語コーパスを収集・整備し、低リソース言語モデリングのための新規コーパスを構築した。
• オリジナルの英語BERTベースモデルのアーキテクチャと初期埋め込みを保持したまま、語彙と学習を新言語に適合させ、ローマ・ウルドゥー語コーパス上で追加事前訓練を実施することで、微調整を実施した。
• 3つの異なる事前訓練アプローチを比較した：(1) スクラッチからモノリンガルローマ・ウルドゥー語BERTを訓練、(2) マルチリンガルBERT（mBERT）上で追加事前訓練、(3) モノリンガル英語BERT（RUBERT）上で追加事前訓練。
• 性能評価には、元のBERT事前訓練で用いられた同じマスクド言語モデリング（MLM）および次文予測（NSP）タスクを用い、別個の検証セットを用いて性能を測定した。
• 共通のラテン文字 script とコードスイッチィングのパターンを活用することで、クロスリンガウルトランスファーを実現し、より優れた文脈表現学習を可能にした。
• ハイパーパrameterは、モノリンガルモデルを除き、全モデルで同一に設定された（10,000ステップの学習、初期値学習率2e-5）。モノリンガルモデルは、スクラッチからの学習を安定化させるために、1e-4の高い学習率を用いた。

実験結果

リサーチクエスチョン

• RQ1 モノリンガル英語BERTモデル上で追加事前訓練を施すことで、スクラッチからの学習やマルチリンガルモデルでの追加事前訓練よりもローマ・ウルドゥー語で優れた性能が得られるか？
• RQ2 共通のラテン文字と語彙的重複があるにもかかわらず、言語構造の違いを考慮しても、英語BERTからローマ・ウルドゥー語へのクロスリンガウルトランスファーは有効に機能するか？
• RQ3 ローマ・ウルドゥー語-英語の二言語モデルは、下流の事前訓練タスクにおいてモノリンガルおよびマルチリンガルベースラインと比較してどの程度優れた性能を示すか？
• RQ4 マルチリンガルティの『多言語化の呪い』が、ローマ・ウルドゥー語のような低リソース言語に対して、マルチリンガルモデルで事前訓練を行う際の性能にどの程度影響を及えるか？

主な発見

• モノリンガル英語BERT上で追加事前訓練を施したRUBERTモデルは、MLM精度が0.23に達し、モノリンガル（0.02）およびマルチリンガル（0.11）ベースラインを大きく上回った。
• RUBERTはNSP精度も0.95を記録し、モノリンガル（0.53）およびマルチリンガル（0.91）モデルと比較して、より優れた文レベル理解能力を示した。
• スクラッチから訓練したモノリンガルローマ・ウルドゥー語BERTは、MLM精度が0.02にとどまり、低リソース言語に対してスクラッチからの学習が困難であることを示している。
• マルチリンガルBERTをローマ・ウルドゥー語で微調整したモデルは、MLM精度0.11という中程度の改善を示したが、依然として二言語RUBERTに大きく劣っていた。これは、マルチリンガルモデルが低リソース言語に対して容量の希釈を受ける傾向にあることを示唆している。
• 結果から、英語（高リソース言語）からのクロスリンガウルトランスファーによる二言語事前訓練が、ローマ・ウルドゥー語のような低リソース言語に対して、マルチリンガル事前訓練よりも効果的であることが確認された。
• 本研究は、ソース言語とターゲット言語の間で共通のスクリプトと語彙的重複（例：コードスイッチィング）が、低リソース環境における成功したクロスリンガウルトランスファーの鍵要因であることを実証した。