[論文レビュー] Multilingual Translation with Extensible Multilingual Pretraining and Finetuning

Yuqing Tang, Chau Tran+6 more|arXiv (Cornell University)|Aug 2, 2020

Topic Modeling参考文献 24被引用数 151

ひとこと要約

この論文は、プリトレーニング済みモデルの多言語ファインチューニングによって多言語翻訳モデルを構築できること、（mBARTのような）多言語ファインチューニングを50言語へ拡張できること（またはmBART50）、再訓練をゼロから行うことなく、ML50ベンチマークを導入して再現性のある多言語MT研究を促進することを示している。

ABSTRACT

Recent work demonstrates the potential of multilingual pretraining of creating one model that can be used for various tasks in different languages. Previous work in multilingual pretraining has demonstrated that machine translation systems can be created by finetuning on bitext. In this work, we show that multilingual translation models can be created through multilingual finetuning. Instead of finetuning on one direction, a pretrained model is finetuned on many directions at the same time. Compared to multilingual models trained from scratch, starting from pretrained models incorporates the benefits of large quantities of unlabeled monolingual data, which is particularly important for low resource languages where bitext is not available. We demonstrate that pretrained models can be extended to incorporate additional languages without loss of performance. We double the number of languages in mBART to support multilingual machine translation models of 50 languages. Finally, we create the ML50 benchmark, covering low, mid, and high resource languages, to facilitate reproducible research by standardizing training and evaluation data. On ML50, we demonstrate that multilingual finetuning improves on average 1 BLEU over the strongest baselines (being either multilingual from scratch or bilingual finetuning) while improving 9.3 BLEU on average over bilingual baselines from scratch.

研究の動機と目的

• プリトレーニング済みモデルの多言語ファインチューニングが高い多言語翻訳性能をもたらすことを示す。
• 追加言語を含めるように事前学習済みモデルを拡張しても、元の言語の性能を損なわないことを示す。
• 高・中・低リソース言語を含む標準化されたベンチマーク（ML50）を導入し、再現性のある多言語MT研究を促進する。

提案手法

• 基盤となる事前学習済み多言語デノイジングオートエンコーダとしてmBARTを用いる。
• 多くの言語方向（N言語からN言語）にわたる多言語ビットテキストでファインチューニングする。
• ファインチューニング時に入力/出力へ言語トークンを追加してソース/ターゲット言語を指定する。
• 3つのモデル変種を検討する：Many-to-one、one-to-many、および many-to-many（英語ピボット経由）。
• 言語ペア間の訓練データのバランスを取るために温度ベースのアップサンプリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みモデルの多言語ファインチューニングは、バイリンガルファインチューニングおよびスクラッチからの多言語訓練を上回ることができるか？
• RQ2 既存の事前学習済みモデル（mBART）を、スクラッチから再訓練せずに追加言語を含むよう拡張し、元の言語の性能を劣化させずに済むか？
• RQ3 多言語ファインチューニングは、Many-to-one、one-to-many、Many-to-manyの翻訳方向すべてで一貫した向上を提供するか？
• RQ4 言語を追加することが、事前学習済みモデルの元の言語の性能に与える影響は何か？
• RQ5 提案されたML50ベンチマークは、再現性のある多言語MT評価をどのように支援するか？

主な発見

• 多言語ファインチューニングは、バイリンガルのベースラインを平均BLEUで上回り、特にMany-to-EnglishではEnglishへ+3.6、特定の設定でEnglish-to-Manyでは+3.0 BLEU（要約結果として報告）を達成。
• mBARTを50言語へ拡張した（mBART50）場合も、翻訳タスクにファインチューンしても元の25言語での性能を劣化させず。
• 50言語設定では、ML-FTは、Many-to-oneで2.61 BLEU、one-to-Manyで-0.47 BLEU、Many-to-Manyで-0.15〜-0.35 BLEU、 strongest baselinesと比較して平均的向上を達成。特に低リソース対において堅牢な性能向上を示す。
• ML50ベンチマークは、データソース、言語、評価を標準化して再現性のある多言語MT研究を可能にする（230M bitext; 50 languages across varied resource levels）。
• バイリンガルファインチューニングと比べて、多言語ファインチューニングは50方向にわたり英語への平均12.3 BLEUの改善をもたらすことがあり、低リソース言語のうちMany-to-one翻訳で10+ BLEUの gains を示す。
• 全体として、多言語ファインチューニングはMany-to-oneとMany-to-Manyの方向を組み合わせた場合、平均的に最も強力なベースラインを一貫して上回る。