[論文レビュー] Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations

Jiatao Gu, Yong Wang+2 more|arXiv (Cornell University)|Jun 4, 2019

Natural Language Processing Techniques参考文献 27被引用数 13

ひとこと要約

本稿では、言語モデルの事前学習とバックトランスレーションの2つの単純ながら効果的な手法を提案し、元の言語IDと出力結果の間の誤った相関関係を軽減することで、ゼロショットニューラル機械翻訳の性能を向上させる。このアプローチにより、vanillaゼロショット翻訳よりも最大22 BLEUポイントの向上を達成し、複数の多言語データセットにおいてピvォットベース手法と同等またはそれを上回る性能を示した。

ABSTRACT

Zero-shot translation, translating between language pairs on which a Neural Machine Translation (NMT) system has never been trained, is an emergent property when training the system in multilingual settings. However, naive training for zero-shot NMT easily fails, and is sensitive to hyper-parameter setting. The performance typically lags far behind the more conventional pivot-based approach which translates twice using a third language as a pivot. In this work, we address the degeneracy problem due to capturing spurious correlations by quantitatively analyzing the mutual information between language IDs of the source and decoded sentences. Inspired by this analysis, we propose to use two simple but effective approaches: (1) decoder pre-training; (2) back-translation. These methods show significant improvement (4~22 BLEU points) over the vanilla zero-shot translation on three challenging multilingual datasets, and achieve similar or better results than the pivot-based approach.

研究の動機と目的

• vanillaゼロショットNMTの不安定さと低性能を是正すること。これはしばしばピボットベース手法に劣る。
• ゼロショットNMTの失敗の根本的原因を解明し、元の言語IDと出力結果の間の誤った相関関係を主な退化要因として特定すること。
• 未学習言語対の平行単語対データを必要としない、実用的で効果的なゼロショット翻訳の向上手法を開発すること。
• ゼロショットNMTとピボットベース翻訳の性能格差を埋めること。特に長ピボットチェーンや低リソース環境において。
• Europarl、IWSLT、MultiUNを含む多様な多言語データセットにおいて、一貫した性能向上と高い頑健性を示すこと。

提案手法

• 元の言語IDと出力結果の間の相互情報量を定量的に分析し、誤った相関関係がゼロショットNMT失敗の根本原因であることを診断する。
• 言語モデルの事前学習（LM pre-training）を適用し、デコーダーをより良い言語固有のインダクティブバイアスで初期化することで、誤った言語ID信号への依存を低減する。
• バックトランスレーション（BTZS）を用いて、ターゲット言語における合成平行文を訓練データに追加し、ゼロショット一般化性能を向上させる。
• 推論時にデコーダーの初期トークンとして言語ID（y₀ = j）を入力することで、翻訳が正しいターゲット言語に導かれるようにガイドする。
• K+1言語の共有表現空間を用いて多言語NMTモデルを学習し、利用可能な平行ペアの尤度を最大化する。
• LM事前学習とバックトランスレーションを併用することで、ゼロショット翻訳性能をさらに安定化・向上させる。

実験結果

リサーチクエスチョン

• RQ1 多言語事前学習がなされているにもかかわらず、なぜvanillaゼロショットNMTは失敗するのか。その背後にある根本的要因は何か。
• RQ2 元の言語IDと出力結果の間の誤った相関関係が、ゼロショット翻訳品質にどの程度悪影響を及えるのか。
• RQ3 言語モデルの事前学習により、誤った言語ID信号への依存を軽減し、ゼロショット一般化性能を向上させられるか。
• RQ4 未学習言語対の平行データを必要としないバックトランスレーションが、ゼロショットNMT性能を効果的に向上させられるか。
• RQ5 長ピボットチェーンにおいて、提案手法はピボットベース翻訳と比較してBLEUスコア、頑健性、スケーラビリティの面でどの程度優れているか。

主な発見

• 本稿では、元の言語IDと出力結果の間の誤った相関関係が、ゼロショットNMT失敗の主な要因であると特定し、相互情報量分析により裏付けた。
• 言語モデルの事前学習により、誤った言語ID信号への依存が低下し、より安定的で自然なゼロショット翻訳が実現した。
• バックトランスレーション（BTZS）は、特に低リソース言語対や未学習言語対において、ゼロショットNMT性能を顕著に向上させた。
• 提案手法により、IWSLTおよびMultiUNデータセットにおいて、vanillaゼロショットNMTよりも最大22 BLEUポイントのスコア向上を達成した。
• 長ピボットチェーン（例：De→En→It→Ro→Nl）においても、提案手法を用いたゼロショットNMTはピボットベース翻訳を2–3 BLEUポイント上回り、誤差の蓄積を回避した。
• LM事前学習とBTZSを併用した統合手法は、Europarl、IWSLT、MultiUNを含むすべての評価データセットにおいて、ピボットベース手法と同等またはそれを上回る性能を達成した。