[論文レビュー] XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders

Shuming Ma, Jian Yang+11 more|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques参考文献 26被引用数 23

ひとこと要約

XLM-Tは、多言語ニューラル機械翻訳（NMT）モデルを、事前学習済みのクロスリンガルトランスフォーマーエンコーダー（XLM-R）で初期化し、多言語並列データでファインチューニングすることで、WMT（10の言語ペア）およびOPUS-100（94の言語ペア）の強力なベースライン（後方翻訳を含む）をはるかに上回る顕著で一貫した改善を達成する。これは、多言語翻訳における事前学習の有効性を示している。

ABSTRACT

Multilingual machine translation enables a single model to translate between different languages. Most existing multilingual machine translation systems adopt a randomly initialized Transformer backbone. In this work, inspired by the recent success of language model pre-training, we present XLM-T, which initializes the model with an off-the-shelf pretrained cross-lingual Transformer encoder and fine-tunes it with multilingual parallel data. This simple method achieves significant improvements on a WMT dataset with 10 language pairs and the OPUS-100 corpus with 94 pairs. Surprisingly, the method is also effective even upon the strong baseline with back-translation. Moreover, extensive analysis of XLM-T on unsupervised syntactic parsing, word alignment, and multilingual classification explains its effectiveness for machine translation. The code will be at https://aka.ms/xlm-t.

研究の動機と目的

• ランダム初期化の代わりに、事前学習済みのクロスリンガル表現を活用することで、多言語ニューラル機械翻訳（NMT）を改善すること。
• XLM-Rのような市販の事前学習済みエンコーダーが、翻訳データの再学習なしに多言語NMT性能を向上させられるかどうかを調査すること。
• 低リソースおよびゼロリソース翻訳設定における事前学習の有効性を、より優れたクロスリンガル一般化能力を通じて評価すること。
• 事前学習済みエンコーダーが翻訳に関連する基本的な言語的表現（例：語の対応付け、構文解析）をどのように改善するかを分析すること。

提案手法

• 100言語でマスク言語モデルを用いて事前学習されたXLM-Rエンコーダーの重みを、多言語NMTモデルのエンコーダーとデコーダーに初期化する。
• 標準的なNMT目的関数に従い、ターゲット言語トークンをソースシーケンスの先頭に付加することで、多言語並列コーパス上でモデル全体をエンドツーエンドでファインチューニングする。
• XLM-Rの共有25万トークン語彙と多言語注意力のメカニズムを活用して、クロスリンガル転送を可能にする。
• 自然言語理解（NLU）タスクで成功したpretraining-fine-tuningパラダイムを、系列から系列への翻訳設定に適用する。
• 高リソース（WMT）および低リソース（OPUS-100）の両方の多言語翻訳ベンチマークで性能を評価する。
• 表現品質を分析するためのプローブタスク（非教師あり構文解析、語の対応付け、多言語テキスト分類）を実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模な単語語彙データで多言語エンコーダーを事前学習することで、多言語NMT性能が顕著に向上するか？
• RQ2 後方翻訳のような強力なベースラインを用いても、事前学習済みクロスリンガルエンコーダーで初期化することで、ランダム初期化を上回る性能が得られるか？
• RQ3 事前学習表現が、語の対応付けや構文解析といった低レベルの言語的能力にどのように影響を与えるか？
• RQ4 特に低リソースおよびゼロリソース言語ペアにおいて、事前学習エンコーダーが多言語一般化をどの程度向上させるか？
• RQ5 事前学習エンコーダーが多言語翻訳に有益な特定の言語的インダクティブバイアスをどのように導入するか？

主な発見

• XLM-Tは10の言語ペアを含むWMTベンチマークで顕著で一貫した改善を達成し、強力なランダム初期化ベースラインを上回った。
• 94の言語ペアを含むより大きなOPUS-100データセットでも、XLM-Tは顕著な向上を示し、多様な言語組み合わせへのスケーラビリティを示した。
• 強力な後方翻訳ベースラインを上回るファインチューニングを行っても、XLM-Tは顕著な改善を維持しており、事前学習が補完的なインダクティブバイアスを追加していることが示された。
• プローブタスクの結果、XLM-Tはランダムベースラインと比較して、非教師あり構文解析と語の対応付けの品質を顕著に向上させた。
• XLM-Tは多言語テキスト分類性能の向上を示しており、より良いクロスリンガル表現学習が行われていることを示唆している。
• 結果から、単語語彙データでの事前学習が、特に低リソース言語において、共有表現品質の向上を通じてクロスリンガル転送を強化していることが示された。