[論文レビュー] Greedy Search with Probabilistic N-gram Matching for Neural Machine Translation

Chenze Shao, Yang Feng+1 more|arXiv (Cornell University)|Sep 10, 2018

Natural Language Processing Techniques参考文献 27被引用数 6

ひとこと要約

本稿では、確率的n-gramマッチング（特にGLEU）に基づく微分可能でシーケンスレベルの学習目的関数を提案し、強化学習を用いずに勾配更新を直接可能にする。訓練時に教師強制をグリーディ探索に置き換えることで、露出バイアスを軽減し、中国語-英語翻訳タスクにおいて強力なベースラインより1.5 BLEUポイントの向上を達成する。

ABSTRACT

Neural machine translation (NMT) models are usually trained with the word-level loss using the teacher forcing algorithm, which not only evaluates the translation improperly but also suffers from exposure bias. Sequence-level training under the reinforcement framework can mitigate the problems of the word-level loss, but its performance is unstable due to the high variance of the gradient estimation. On these grounds, we present a method with a differentiable sequence-level training objective based on probabilistic n-gram matching which can avoid the reinforcement framework. In addition, this method performs greedy search in the training which uses the predicted words as context just as at inference to alleviate the problem of exposure bias. Experiment results on the NIST Chinese-to-English translation tasks show that our method significantly outperforms the reinforcement-based algorithms and achieves an improvement of 1.5 BLEU points on average over a strong baseline system.

研究の動機と目的

• ニューラル機械翻訳における単語レベルのクロスエントロピー損失の限界を解決する。これは翻訳の柔軟な評価に失敗し、露出バイアスに苦しむ。
• 強化学習に基づくシーケンスレベル学習の不安定さと高い分散を克服するため、微分可能なシーケンスレベルの目的関数を導入する。
• グリーディ探索による訓練により露出バイアスを軽減する。モデルは推論時と同様に、自身の予測された単語をコンテキストとして使用する。
• 標準の評価指標と強い相関を示すn-gramマッチング（例：GLEU）に基づく微分可能な学習目的関数を開発する。
• グリーディ探索と微分可能なシーケンスレベル損失を組み合わせた手法が、標準のクロスエントロピー学習および強化学習ベースの手法を上回ることを実証する。

提案手法

• 確率的n-gramマッチングを用いた微分可能なシーケンスレベルの目的関数を導入し、特にGLEUの確率的バージョン（P-GLEU）を訓練損失として定義する。
• 教師強制をグリーディデコードに置き換えることで、モデルが真値トークンではなく自身の予測された単語に依存するように訓練する。これにより露出バイアスが軽減される。
• n-gram精度（例：2-gram）の微分可能な近似を用いることで、強化学習を用いずに勾配ベース最適化を可能にする。
• 新しい目的関数でランダム初期化から訓練するのを避けるために、事前学習済みNMTモデルのファインチューニングに確率的損失を適用する。
• 生成されたn-gramと参照翻訳との間のソフトアライメントを用いて、モデル出力と参照翻訳の関数として微分可能な損失を計算する。
• P-GLEU目的関数上で標準的なバックプロパゲーションを用いてモデルを最適化する。これにより、ポリシー勾配推定を必要とせず、直接的な勾配更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 n-gramマッチングに基づく微分可能なシーケンスレベルの目的関数が、NMTにおける強化学習の代替として効果的に機能するか？
• RQ2 訓練時に教師強制をグリーディ探索に置き換えることで、露出バイアスが顕著に軽減され、翻訳品質が向上するか？
• RQ3 提案された確率的n-gramマッチングが、標準の自動評価指標（例：GLEU）とどれほど相関しているか？
• RQ4 提案手法が、単語レベルのクロスエントロピー学習および強化学習ベースのシーケンスレベル学習を上回る性能を達成できるか？
• RQ5 性能向上は新しい損失関数に起因するのか、それともデコード戦略の変更（グリーディ対教師強制）に起因するのか？

主な発見

• 提案手法は、NIST中国語-英語翻訳ベンチマークにおいて、強力なベースラインシステムより1.5 BLEUポイントの向上を達成した。
• 同じ確率的損失を使用しても、グリーディ探索による訓練が教師強制に比べて約1 BLEUポイントの向上をもたらした。
• 確率的GLEU（P-GLEU）目的関数は、標準GLEUと強く相関しており（r = 0.86）、評価指標の代理としての有効性が裏付けられた。
• 高分散と収束の不安定さに苦しむ強化学習ベースのシーケンスレベル学習手法を上回った。
• 事前学習済みモデルへのファインチューニングに確率的損失を適用することで、訓練コストを削減し、新規目的関数で初期化から訓練する際の不安定性を回避できた。
• 異なるn-gram目的関数（BLEU、GLEU、2-gram精度）のうち、GLEUが最も優れた性能を示し、本手法の最適な選択肢であることが判明した。