[論文レビュー] Modeling Fluency and Faithfulness for Diverse Neural Machine Translation

Yang Feng, Wanying Xie+5 more|arXiv (Cornell University)|Nov 30, 2019

Natural Language Processing Techniques参考文献 25被引用数 5

ひとこと要約

本論文は、教師強制の制限を克服し、予測分布を厳密な教師強制を超えてガイドする評価モジュールを導入することで、自然な表現力と忠実性を向上させる、ニューラル機械翻訳のための新規な訓練フレームワークを提案する。文脈的な一貫性（自然さ）と意味的同等性（忠実性）を同時に最適化することで、追加のデコードコストなしに、BLEUスコアが優れており、n-gram精度とコサイン類似度の両面で向上が見られ、強力なベースラインを上回る結果を得た。

ABSTRACT

Neural machine translation models usually adopt the teacher forcing strategy for training which requires the predicted sequence matches ground truth word by word and forces the probability of each prediction to approach a 0-1 distribution. However, the strategy casts all the portion of the distribution to the ground truth word and ignores other words in the target vocabulary even when the ground truth word cannot dominate the distribution. To address the problem of teacher forcing, we propose a method to introduce an evaluation module to guide the distribution of the prediction. The evaluation module accesses each prediction from the perspectives of fluency and faithfulness to encourage the model to generate the word which has a fluent connection with its past and future translation and meanwhile tends to form a translation equivalent in meaning to the source. The experiments on multiple translation tasks show that our method can achieve significant improvements over strong baselines.

研究の動機と目的

• 教師強制における限界、すなわち、確率分布に優勢でないにもかかわらず、常に正解語を予測させることを是とする問題を是正すること。
• ゴールリファレンス以外の妥当な翻訳の代替案を考慮した、より柔軟な訓練信号を導入することで、モデルの最適化を改善すること。
• 訓練中に予測の正しさに加え、自然さと意味的忠実性の両面で評価することにより、翻訳品質を向上させること。
• 訓練中に自然さと忠実性を動的にバランスさせる適応的重みを用いて、統合された評価モジュールを構築すること。

提案手法

• 本手法は、予測語がその過去および未来の翻訳（自己生成および正解）と同時に出現する確率を計算することで、自然さを推定する評価モジュールを導入する。
• 忠実性は、元の文の該当部分を予測語に対応させるアテンションベースの確率を、元文におけるクロスアテンションを用いて計算する。
• 自然さと忠実性のスコアを統合し、新たな損失項として組み合わせ、標準的な0-1分布に代わって予測分布のガイドラインとして使用する。
• モデルは、標準的な交差エントロピーと評価ベース損失のプレトレーニングフェーズ、その後に新しい分布ガイド付き損失を用いた共同最適化を行う複合損失関数で訓練される。
• 評価モジュールは、学習可能な重みを用いて自然さと忠実性のトレードオフを動的に調整し、適応的最適化を可能にする。
• 本手法はTransformerアーキテクチャに統合されており、追加のデコードステップを必要とせず、推論効率を維持している。

実験結果

リサーチクエスチョン

• RQ1 訓練時評価モジュールを用いて自然さと忠実性を考慮することで、標準的な教師強制を超えてニューラル機械翻訳の性能が向上するか？
• RQ2 自然さと忠実性の指標を用いて予測分布をガイドすることで、未知のデータに対する最適化と一般化が向上するか？
• RQ3 提案手法は、n-gram精度や正解翻訳とのコサイン類似度といった自然さと忠実性の指標をどの程度向上させるか？
• RQ4 デコード複雑性を増加させることなく、より高いBLEUスコアを達成できるか？

主な発見

• 標準的なTransformerと比較して、本手法は訓練および検証セットの両方で高いBLEUスコアを達成しており、ベースラインが9エポック目で収束するのに対し、本手法は13エポック目で収束した。
• CN→EN翻訳タスクにおいて、1-gram精度が79.10から79.82に、3-gramが35.34から36.90に、4-gramが23.82から25.28に向上し、自然さおよび正解n-gramのカバー率の向上を示した。
• 生成翻訳と正解翻訳間のコサイン類似度は0.873から0.877に上昇し、意味的忠実性の向上を示した。
• 新しい損失項を導入した後、訓練損失が顕著に低下し、低損失と高いBLEUスコアが相関していたことから、損失関数が有効な最適化目的であると確認された。
• アブレーションおよび分析実験により、パラメータの適合性が向上し、より妥当な翻訳が生成されることが検証された。