[論文レビュー] Neural Machine Translation with Pivot Languages

Yong Cheng, Yang Liu+3 more|arXiv (Cornell University)|Nov 15, 2016

Natural Language Processing Techniques参考文献 15被引用数 30

ひとこと要約

本論文は、共有埋め込みまたは尤度最大化を用いて、源言語から中間言語（ピボット）へ、およびピボットから標的言語への中間翻訳モデルを接続することで、ピボットベースのニューラル機械翻訳の共同学習を提案する。この手法により、EuroparlおよびWMTデータセットにおける低リソース言語対において翻訳品質が顕著に向上し、先行手法に比べ最大+4.32 BLEUの向上を達成した。

ABSTRACT

While recent neural machine translation approaches have delivered state-of-the-art performance for resource-rich language pairs, they suffer from the data scarcity problem for resource-scarce language pairs. Although this problem can be alleviated by exploiting a pivot language to bridge the source and target languages, the source-to-pivot and pivot-to-target translation models are usually independently trained. In this work, we introduce a joint training algorithm for pivot-based neural machine translation. We propose three methods to connect the two models and enable them to interact with each other during training. Experiments on Europarl and WMT corpora show that joint training of source-to-pivot and pivot-to-target models leads to significant improvements over independent training across various languages.

研究の動機と目的

• 低リソース言語対におけるニューラル機械翻訳におけるデータ不足問題に対処すること。
• トレーニング中に源言語からピボット、ピボットから標的言語へのモデルを整列させることで、ピボットベース翻訳における誤り伝搬を軽減すること。
• 独立して学習するのではなく、源言語からピボットおよびピボットから標的言語へのNMTモデルを共同で学習することで翻訳品質を向上させること。
• 2つのモデル間の効果的な接続メカニズムを探索し、段階的翻訳の性能を向上させること。
• モデルの整列を支援する小規模な源-標的並列コーパスを用いて、共同学習の有効性を示すこと。

提案手法

• 共有語彙埋め込み、注意に基づく相互作用、および段階的翻訳の尤度最大化の3つの接続手法を提案する。
• 小規模な源-標的並列コーパスを用いて、尤度接続を通じて源言語からピボット、ピボットから標的言語へのモデルを共同で学習する。
• 中間のピボット言語経由で、源文から標的文の対数尤度を最大化する。
• ピボットモデルの隠れ状態を標的モデルの注意メカニズムに統合し、モデル間の相互作用を可能にする。
• 分布の乖離を低減するため、両モデルを共有最適化目的関数でエンドツーエンドに学習する。
• 複数の言語対（例：スペイン語-英語、英語-フランス語）において、EuroparlおよびWMTコーパスの両方で共同学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 源言語からピボット、ピボットから標的言語へのNMTモデルの共同学習は、段階的翻訳における誤り伝搬を軽減できるか？
• RQ2 共有埋め込みまたは尤度最大化による2つのモデルの接続は、低リソース言語対における翻訳品質を向上させるか？
• RQ3 ブリッジとなる源-標的並列コーパスのサイズは、共同学習の性能にどのように影響するか？
• RQ4 共同学習は、独立学習および既存の多言語または転移学習ベースラインを上回る性能を達成できるか？
• RQ5 共有埋め込み、注意相互作用、尤度最大化のうち、どの接続メカニズムが最も優れた性能を達成するか？

主な発見

• 尤度接続を用いた共同学習は、複数の言語対においてWMTコーパスで最大+1.18 BLEUの翻訳性能向上を達成した。
• 尤度接続手法が、EuroparlおよびWMT両データセットで独立学習および他の接続手法を上回る最良の結果を達成した。
• わずか1,000文ペアのブリッジコーパスでも測定可能な改善が得られ、50,000文ペアを超えると改善はやや小さくなる傾向を示した。
• より小さな並列学習コーパスを用いても、Firatらの多言語NMTモデルに比べ最大+4.32 BLEUの向上を達成した。
• 共同学習は、独立学習モデルとの性能差を顕著に縮小し、低リソース環境下での頑健性を向上させた。
• 結果から、トレーニング中のモデル相互作用が誤り伝搬を緩和し、段階的翻訳の品質を向上させることを確認した。