[論文レビュー] Zero-Resource Translation with Multi-Lingual Neural Machine Translation

Orhan Fırat, Baskaran Sankaran+3 more|arXiv (Cornell University)|Jun 13, 2016

Natural Language Processing Techniques参考文献 25被引用数 35

ひとこと要約

この論文は、直接の並列文がない言語対間でのゼロリソース翻訳を可能にする、多言語ニューラル機械翻訳モデルのための新しい微調整戦略を提案する。偽並列データを生成し、追加のアテンションパラメータのみを微調整することで、100万件の並列文で微調整された単一言語対モデルと同等の翻訳品質を達成し、ピvォットベース手法を上回り、高いデータ効率を示す。

ABSTRACT

In this paper, we propose a novel finetuning algorithm for the recently introduced multi-way, mulitlingual neural machine translate that enables zero-resource machine translation. When used together with novel many-to-one translation strategies, we empirically show that this finetuning algorithm allows the multi-way, multilingual model to translate a zero-resource language pair (1) as well as a single-pair neural translation model trained with up to 1M direct parallel sentences of the same language pair and (2) better than pivot-based translation strategy, while keeping only one additional copy of attention-related parameters.

研究の動機と目的

• 直接の並列データが存在しない言語対間でのゼロリソース機械翻訳を、多言語ニューラル機械翻訳モデルを用いて実現すること。
• 複数の言語間での正の言語伝達を活用することで、低リソース言語対の翻訳品質を向上させること。
• ゼロリソース言語対に大規模な並列コーパスを必要としない、データ効率の高い微調整戦略を開発すること。
• 従来の1対1またはピvォットベースのアプローチと比較して、低リソース環境における多対一翻訳戦略の有効性を評価すること。
• 偽並列データがゼロリソース翻訳の微調整において、直接の並列データの代わりに効果的に機能するかどうかを調査すること。

提案手法

• 本手法は、すべての言語対で共有されたアテンションメカニズムを備えた多方向多言語ニューラル機械翻訳モデルを採用し、複数の言語間で統合学習を可能にする。
• ゼロリソース言語対に必要な真の並列データを一切必要とせず、モデル自身の翻訳能力を用いて偽並列文を生成する、新しい微調整戦略を導入する。
• 微調整プロセスでは、ターゲットのゼロリソース言語対用にアテンションメカニズムパラメータを1つの追加コピーのみ追加するため、パラメータ増加を最小限に抑える。
• 生成された偽並列データを用いてモデルを微調整し、ゼロリソース言語対のエンコーダーとデコーダーの表現を整列化する。
• 多対一翻訳戦略を用い、複数のソース言語を1つのターゲット言語に翻訳することで、1対1翻訳よりも性能が向上する。
• 早期平均化と後期平均化のデコード方式を組み合わせることで、ゼロリソース言語対の翻訳品質をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 多言語ニューラル機械翻訳モデルは、ソース言語とターゲット言語間の直接の並列文が存在しない状況でもゼロリソース翻訳を実行できるか？
• RQ2 真の並列データが少量しかない状況で、モデル自身が生成した偽並列データを用いた微調整が、真の並列データを用いた場合よりも優れた性能を発揮するか？
• RQ3 BLEUスコアとデータ効率の観点から、多対一翻訳戦略は1対1またはピvォットベースの翻訳戦略と比べてどのように差がつくか？
• RQ4 1つの追加アテンションパラメータコピーのみを用いて、100万件の並列文で微調整された単一言語対モデルと同等の翻訳品質を達成できるか？
• RQ5 ゼロリソース翻訳の性能は、真の並列データの可用性と規模に依存するか？また、偽データがより効果的となる状況はいつか？

主な発見

• 提案された微調整戦略により、多言語モデルはゼロリソース言語対でBLEUスコア24.26を達成し、100万件の真の並列文で微調整された単一言語対モデルと同等の性能を示した。
• 直接の並列データが存在しない状況でも、ピvォットベースの翻訳戦略を上回る翻訳品質とデータ効率を達成した。
• 真の並列文が少量（例：100万件未満）しか入手できない状況では、偽並列データを用いた微調整が、限られた真のデータを用いた場合よりも優れた結果をもたらした。
• 多対一翻訳戦略は、特に低リソース環境下で1対1戦略を著しく上回り、言語伝達の強化と表現の整列化によるものである。
• 直接の並列データが乏しい状況では、偽並列データによる微調整の効果が顕著であり、これは偽データが真のデータよりもモデルのインダクティブバイアスをよりよく反映しているためである。
• 早期平均化と後期平均化のデコード方式の組み合わせによるさらなる改善は得られず、これは偽ソース生成からのコンテキストベクトルがすでに十分な整列情報を持っていることを示している。