[論文レビュー] Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges

Naveen Arivazhagan, Ankur Bapna+11 more|arXiv (Cornell University)|Jul 11, 2019

Natural Language Processing Techniques参考文献 152被引用数 297

ひとこと要約

この論文は、103言語を対象に25Bの並行文で単一の大規模多言語NMTモデルを訓練し、転移と干渉を分析し、実世界の普遍的翻訳におけるデータサンプリングと容量の課題を特定している。

ABSTRACT

We introduce our efforts towards building a universal neural machine translation (NMT) system capable of translating between any language pair. We set a milestone towards this goal by building a single massively multilingual NMT model handling 103 languages trained on over 25 billion examples. Our system demonstrates effective transfer learning ability, significantly improving translation quality of low-resource languages, while keeping high-resource language translation quality on-par with competitive bilingual baselines. We provide in-depth analysis of various aspects of model building that are crucial to achieving quality and practicality in universal NMT. While we prototype a high-quality universal translation system, our extensive empirical analysis exposes issues that need to be further addressed, and we suggest directions for future research.

研究の動機と目的

• 任意の言語ペア間で翻訳可能な単一の普遍的NMTモデルを構築することを目指す。
• 多言語訓練が低リソース言語への転移を可能にしつつ、高リソース言語の性能を維持する方法を調査する。
• ウェブ取得並行データにおけるデータの不均衡・ノイズ・ドメイン問題と、それらが学習に与える影響を検討する。
• 大規模多言語MTにおけるデータサンプリング・容量・スケジューリングを通じた干渉制御の戦略を評価する。

提案手法

• 単一のTransformerベースモデル（Transformer Big）を102言語＋英語で共有された64kの文節語彙で学習する。
• 翻訳方向を指示するために、各ソース列の先頭にターゲット言語トークンを付与する。
• 実際の言語露出を均等化するデータサンプリング戦略を探索し、真の分布（T=1）および均等サンプリング（例：T=5、T=100）を含む。
• 双方向（バイリンガル）ベースラインと、エンコーダ/デコーダを共有し、単一の共有語彙を持つ多言語設定を比較する。
• より高速な収束のために大規模データ並列性を活用（TPUv3横断）し、バッチサイズを最大4Mトークンまで使用する。
• 多方向の開発・テストセットにおけるBLEUを用いて評価し、方向別の性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 massively multilingual NMTモデルの訓練は高リソース言語と低リソース言語の翻訳品質にどのように影響するか？
• RQ2 ポジティブな転移を活用して低リソース言語の翻訳を改善しつつ高リソース言語の性能を著しく低下させないことは可能か？
• RQ3 ウェブ上で収集したデータの不均衡とノイズは、普遍的MTモデルの学習・転移・干渉にどのように影響するか？
• RQ4 干渲 sor 介在を軽減し転移を促進するためのサンプリング・スケジューリング・最適化戦略は何か？
• RQ5 Many-to-oneとOne-to-manyの学習設定は、方向（Any→En、En→Any）間の転移効果とゼロショット翻訳にどのように影響するか？

主な発見

• massively multilingualな訓練は低リソース言語への転移を生む一方、干渉が高リソース言語の性能を低下させることがある。
• 均等サンプリング（低リソース言語の過抽出を含む）は低リソース言語への転移を高めるが高リソースの性能を害する。真のデータ分布に基づくサンプリングは高リソースの性能を維持するが転移を抑制する。
• 干渉は言語・タスクの数が増えると拡大し、容量が適切に増えないと言語グループ全体の性能が低下する。
• Many-to-one（Any→En）モデルは低リソース言語に対して顕著な利益を示す一方、one-to-many（En→Any）モデルは低リソース言語への転移が少なく、特定の設定下では高リソースの劣化が目立つ。
• ゼロショット翻訳の品質は言語数の増加とクロスリンガル転移を促進する正則化により改善するが、パラレルデータなしでは英語以外の直接翻訳は依然として難しい。