[論文レビュー] Neural Machine Translation with Gumbel-Greedy Decoding

Jiatao Gu, Daniel Jiwoong Im+1 more|arXiv (Cornell University)|Jun 22, 2017

Natural Language Processing Techniques被引用数 13

ひとこと要約

本稿では、Gumbel-Softmax再パrameterizationを用いた学習可能な生成器によりヒューリスティックな探索を置き換える、ニューラル機械翻訳における微分可能シーケンス生成手法、Gumbel-Greedy Decoding (GGD) を提案する。この手法は、最適翻訳を直接予測するための敵対的学習に基づく生成器を訓練する。ビームサーチを用いず、複数の言語対で最先端のBLEUスコアを達成している。

ABSTRACT

Previous neural machine translation models used some heuristic search algorithms (e.g., beam search) in order to avoid solving the maximum a posteriori problem over translation sentences at test time. In this paper, we propose the Gumbel-Greedy Decoding which trains a generative network to predict translation under a trained model. We solve such a problem using the Gumbel-Softmax reparameterization, which makes our generative network differentiable and trainable through standard stochastic gradient methods. We empirically demonstrate that our proposed model is effective for generating sequences of discrete words.

研究の動機と目的

• 推論時におけるニューラルシーケンスモデリングにおける離散トークン生成の非微分可能性という課題に対処する。
• ビームサーチやグリーディデコードといったヒューリスティック探索手法の限界を克服する。
• テスト時において高品質な翻訳シーケンスを直接最適化できる、微分可能でエンドツーエンドで訓練可能なフレームワークを開発する。
• Gumbel-Softmax再パラメータ化テクニックを用いて、離散シーケンス生成器の安定した訓練を可能にする。
• ディスクラミネーターとジェネレーターの構成を用いた敵対的学習が、標準的なMLEおよびREINFORCEベースラインと比較して翻訳品質を向上させることを示す。

提案手法

• 語彙トークン上のカテゴリカル分布から微分可能にサンプリング可能となるGumbel-Softmax再パラメータ化を用い、離散出力に対して誤差逆伝播を可能にする。
• 推論時にヒューリスティック探索を回避するため、生成器ネットワークを直接最良の翻訳シーケンスを予測するように訓練する。
• 実際の翻訳（訓練データセットより）と生成された翻訳（生成器より）を区別するディスクラミネーターを用い、GANに類似した学習目的を形成する。
• 生成器とディスクラミネーターを、グローバルな報酬関数を用いた強化学習的目的関数に基づき、同時に訓練する。この際、生成器は高尤度で高品質な翻訳を生成するように学習する。
• サンプリングベースの訓練中に生成器に対してエントロピー正則化を適用し、探索性を向上させ、モード崩壊を低減する。
• バックプロパゲーション中の勾配安定化を図るため、Gumbel-Softmaxサンプリング戦略を用いる。特に低確率トークン選択の状況で有効である。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドで訓練可能な生成器は、ニューラル機械翻訳におけるヒューリスティック探索を置き換え可能か？
• RQ2 Gumbel-Softmax再パラメータ化は、GANに類似したフレームワーク内での離散シーケンス生成器の安定した訓練を可能にするか？
• RQ3 Gumbel-Greedy Decodingは、標準的なMLEおよびREINFORCE訓練と比較して、翻訳品質において優れているか？
• RQ4 どのような訓練設定（例：サンプリング vs. グリーディ、エントロピー正則化）がGGDフレームワークで最良のパフォーマンスをもたらすか？
• RQ5 推論時に真値の監視なしに、ディスクラミネーターを用いた敵対的学習が、生成翻訳の品質を向上させられるか？

主な発見

• グリーディデコード下で、GGD-GANモデルは全4言語対でMLEおよびREINFORCEベースラインを上回るBLEUスコアを達成した：DE-EN（22.47 vs. 21.63）、EN-DE（19.38 vs. 18.97）、CS-EN（20.12 vs. 18.90）、EN-CS（15.40 vs. 14.49）。
• ビームサーチ（サイズ=5）下では、GGD-GANモデルはさらに性能向上を示し、DE-ENで25.32（MLEの24.46対比）、EN-DEで21.27（MLEの21.33対比）、CS-ENで21.17（MLEの21.20対比）、EN-CSで16.44（MLEの16.20対比）のBLEUスコアを達成した。
• 生成器とディスクラミネーターの共同訓練に加え、サンプリングベースの生成器とエントロピー正則化を組み合わせた設定が最良の結果をもたらし、グリーディベースの訓練を上回った。
• Gumbel-Softmax再パラメータ化は、特に低確率トークンのサンプリング時において、ストレートスラッシュ推定器と比較して勾配バイアスを低減し、より安定した学習を可能にした。
• 本手法は、合成的または小規模なタスクにとどまらず、多様な言語対において一貫して翻訳品質を向上させ、一般化能力を示した。
• GGDフレームワークは、大規模な並列コーパス上でのニューラル機械翻訳にGumbel-Softmaxを生成器-ディスクラミネーター設定で初めて適用した。実世界のNMTタスクにおいて、先行するGANベースのアプローチを上回った。