[論文レビュー] Bridging the Gap between Training and Inference for Neural Machine Translation

Wen Zhang, Yang Feng+3 more|arXiv (Cornell University)|Jun 6, 2019

Natural Language Processing Techniques参考文献 17被引用数 30

ひとこと要約

本稿では、訓練時と推論時の差を埋めるために、正解文とモデル予測文の両方の文脈語をサンプリングする訓練スキーム、Overcorrection Recovery (OR-NMT) を提案する。文単位のオラクル選択と段階的カリキュラム学習を用いることで、露出バイアスと過剰是正を低減し、強力なベースラインを上回って Zh→En タスクで +2.18 BLEU、En→De タスクで +1.31 BLEU の向上を達成した。

ABSTRACT

Neural Machine Translation (NMT) generates target words sequentially in the way of predicting the next word conditioned on the context words. At training time, it predicts with the ground truth words as context while at inference it has to generate the entire sequence from scratch. This discrepancy of the fed context leads to error accumulation among the way. Furthermore, word-level training requires strict matching between the generated sequence and the ground truth sequence which leads to overcorrection over different but reasonable translations. In this paper, we address these issues by sampling context words not only from the ground truth sequence but also from the predicted sequence by the model during training, where the predicted sequence is selected with a sentence-level optimum. Experiment results on Chinese->English and WMT'14 English->German translation tasks demonstrate that our approach can achieve significant improvements on multiple datasets.

研究の動機と目的

• ニューラル機械翻訳における訓練（ゴールスタンダードの文脈を使用）と推論（モデルが生成した文脈を使用）の間の乖離を是正すること。
• 文脈分布の不一致に起因する誤りの累積を緩和すること、すなわち露出バイアスの是正。
• 代替的だが妥当な翻訳に対してもモデルが適切に対処できるように、是正の回復能力を向上させること。
• 厳密な単語レベルのアライメントに依存するのを減らし、長文や複雑な文に対するモデルの頑健性を高めること。
• RNNベースおよびTransformerモデルを含む多様なアーキテクチャに有効であることを示すこと。

提案手法

• 訓練中に、正解文と予測文の両方の文脈語をサンプリングする。カリキュラム学習スケジュールに従い、予測語への依存度を段階的に増加させる。
• オラクル語は、単語レベルのグリーディサーチではなく、文単位の最適化（例：BLEU）により選択される。これにより、是正の過剰化からの回復が向上する。
• 徐々に正解語の確率を下げ、予測語にシフトする減衰するサンプリング戦略を採用し、推論状態を模倣する。
• オラクル選択時にGumbel-Softmaxノイズを適用することで、過学習を防ぎ、訓練中の一般化性能を向上させる。
• RNNsearchおよびTransformerモデルの両方への適用が可能で、タスク全体で一貫した向上が得られた。
• 訓練目的関数は、交差エントロピー損失と動的文脈サンプリング機構を組み合わせており、監視と自己整合性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 訓練時に正解文と予測文の両方の文脈をサンプリングすることで、訓練と推論の間の分布シフトを軽減できるか？
• RQ2 文単位のオラクル選択は、単語単位の選択に比べて是正の回復性能を向上させるか？
• RQ3 提案手法は、長文や複雑な文において露出バイアスをどの程度低減し、性能向上を達成できるか？
• RQ4 RNNベースおよびTransformerモデルのような異なるNMTアーキテクチャにおいて、本手法はどの程度の性能を示すか？
• RQ5 本手法は、低リソース言語対や長文翻訳タスクを含む多様な言語対において一貫した向上を達成できるか？

主な発見

• 提案手法の OR-NMT は、Zh→En MT03 テストセットにおいて RNNsearch モデルを +2.18 BLEU 向上させ、露出バイアスの強力な是正を示した。
• WMT’14 En→De 翻訳タスクでは、RNNsearch ベースラインを +1.59 BLEU、Transformer base モデルを +1.31 BLEU 向上させ、有意な向上（p<0.01）を示した。
• 本手法は、特に長文において最も大きな向上を示した。特に、ソース長のレンジ (10,20]、(40,50]、(70,80] で是正の過剰化が顕著なため、その影響が顕著に現れた。
• 文単位のオラクル選択は、単語単位の選択を上回り、高レベルの評価により代替翻訳からの回復がより良好に可能であることが示された。
• オラクルサンプリング時にGumbelノイズを用いることで、過学習を防ぎ、収束性が向上した。最良の性能は τ=0.5 時に達成された。
• 28,266 個の正解語のうち 18,391 個が、提案モデルにおいてベースラインより高い予測確率を示しており、ゴール正解とのアライメントが向上し、露出バイアスが低減していることが示された。