[論文レビュー] A Study of Multilingual Neural Machine Translation

Xu Tan, Yichong Leng+4 more|arXiv (Cornell University)|Dec 25, 2019

Natural Language Processing Techniques参考文献 38被引用数 8

ひとこと要約

本論文は20種類以上の言語を用いた多言語ニューラル機械翻訳（NMT）の包括的な実証的研究を実施し、低リソース言語対において多言語学習が顕著に効果を発揮する一方で、リソースが豊富な言語対ではモデル容量の制限により性能が低下する可能性があることを明らかにした。主な発見には、1対多設定における微調整の優位性、レイヤー特化型微調整の有効性、類似言語において直接翻訳がピボット翻訳を上回ること、および訓練データに含まれる言語の多様性が高まることでゼロショット翻訳性能が向上することを含む。

ABSTRACT

Multilingual neural machine translation (NMT) has recently been investigated from different aspects (e.g., pivot translation, zero-shot translation, fine-tuning, or training from scratch) and in different settings (e.g., rich resource and low resource, one-to-many, and many-to-one translation). This paper concentrates on a deep understanding of multilingual NMT and conducts a comprehensive study on a multilingual dataset with more than 20 languages. Our results show that (1) low-resource language pairs benefit much from multilingual training, while rich-resource language pairs may get hurt under limited model capacity and training with similar languages benefits more than dissimilar languages; (2) fine-tuning performs better than training from scratch in the one-to-many setting while training from scratch performs better in the many-to-one setting; (3) the bottom layers of the encoder and top layers of the decoder capture more language-specific information, and just fine-tuning these parts can achieve good accuracy for low-resource language pairs; (4) direct translation is better than pivot translation when the source language is similar to the target language (e.g., in the same language branch), even when the size of direct training data is much smaller; (5) given a fixed training data budget, it is better to introduce more languages into multilingual training for zero-shot translation.

研究の動機と目的

• 言語の類似性とリソース配分が多言語NMT性能に与える影響を調査すること。
• 異なる翻訳設定（1対多対称 vs. 多対1対称）における微調整と訓練からゼロからの学習を比較すること。
• 低リソース言語対に適応する際、事前学習済みNMTモデルのどのコンponent（エンコーダー/デコーダーレイヤー）を微調整すべきかを同定すること。
• 直接翻訳とピボット翻訳のトレードオフを、低リソース状況で評価すること。
• 言語多様性がゼロショット翻訳の正確性に与える影響を理解すること。

提案手法

• 20種類以上の言語をカバーするデータセットを用いて多言語NMTモデルを学習し、リソース豊富な言語対と低リソース言語対を含めた。
• 1対多および多対1翻訳設定において、微調整と訓練からゼロからの学習を比較するアブレーションスタディを実施した。
• レイヤー単位の微調整実験を実施し、エンコーダーの下位レイヤーやデコーダーの上位レイヤーを個別に更新することで、コンponent特化の影響を評価した。
• 複数の言語対を用いて、データ量や言語の類似性を変化させながら、直接翻訳とピボット翻訳を比較評価した。
• 訓練データ量を一定に保ちながら、言語数を2、12、22に段階的に増加させたゼロショット翻訳モデルを構築し、言語多様性の影響を隔離した。
• 翻訳性能の定量的比較にBLEUスコアを用いた。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTモデルにおいて、どの言語をグループ化することで性能を最大化できるか？
• RQ2 微調整は多言語NMTにおいて訓練からゼロからの学習を上回るのか？また、翻訳設定によってその差はどのように変化するか？
• RQ3 低リソース言語対に適応する際、事前学習済みNMTモデルのどのコンponent（エンコーダー/デコーダーレイヤー）を微調整すべきか？
• RQ4 直接翻訳がピボット翻訳を上回るのか、特に直接データが乏しい低リソース状況においては？
• RQ5 ゼロショット翻訳の正確性に影響を与える要因は何であり、言語多様性はその影響をどのように及えるか？

主な発見

• 低リソース言語対では多言語学習により顕著な精度向上が見られ、一方でリソース豊富な言語対ではモデル容量の制限により性能が低下する可能性がある。
• 1対多翻訳設定では微調整が訓練からゼロからの学習を上回るが、多対1設定では逆に訓練からゼロからの学習がより良い結果をもたらす。
• エンコーダーの下位レイヤーまたはデコーダーの上位レイヤーを微調整することで、パラメータ更新を最小限に抑えつつ低リソース言語対で優れた性能が達成できる。
• 源言語と標的言語が類似している場合、直接翻訳は、直接翻訳データが著しく少ないにもかかわらず、ピボット翻訳を上回る。
• ゼロショット翻訳の正確性は、訓練データセットに含まれる言語の多様性が高まることで顕著に向上する。これは、総データ量を一定に保った状態でも同様に観察された。
• 20種類の多様な言語（Zero-22）を導入したモデルは、12言語（Zero-12）のモデルを上回ったが、両者とも類似したデータ予算を有していた。言語的多様性の恩恵が明確に示された。