[論文レビュー] Adversarial Neural Machine Translation

Lijun Wu, Yingce Xia+5 more|arXiv (Cornell University)|Apr 20, 2017

Natural Language Processing Techniques参考文献 34被引用数 72

ひとこと要約

論文は Adversarial-NMT を導入します。これは CNN ベースの識別子と方策勾配を用いて、標準の NMT を超える翻訳品質を目指す神経機械翻訳の敵対的訓練フレームワークです。(training.)

ABSTRACT

In this paper, we study a new learning paradigm for Neural Machine Translation (NMT). Instead of maximizing the likelihood of the human translation as in previous works, we minimize the distinction between human translation and the translation given by an NMT model. To achieve this goal, inspired by the recent success of generative adversarial networks (GANs), we employ an adversarial training architecture and name it as Adversarial-NMT. In Adversarial-NMT, the training of the NMT model is assisted by an adversary, which is an elaborately designed Convolutional Neural Network (CNN). The goal of the adversary is to differentiate the translation result generated by the NMT model from that by human. The goal of the NMT model is to produce high quality translations so as to cheat the adversary. A policy gradient method is leveraged to co-train the NMT model and the adversary. Experimental results on English$ ightarrow$French and German$ ightarrow$English translation tasks show that Adversarial-NMT can achieve significantly better translation quality than several strong baselines.

研究の動機と目的

• 人間の翻訳と NMT 出力の間のギャップを最小化する学習パラダイムを動機づける。
• シーケンス対シーケンス翻訳のGAN に影響を受けた敵対的訓練設定を導入する。
• 人間翻訳と機械翻訳を区別する CNN ベースの敵対者と Generator の方策勾配訓練 regime を設計する。
• 英語↔フランス語およびドイツ語↔英語のベンチマークで翻訳品質の向上を実証する。
• 敵対的訓練が、語彙数やモデルサイズが同程度でも強力なベースラインを上回ることがあることを示す。

提案手法

• 注意機構付きのエンコーダ-デコーダ RNN (RNNSearch) を NMT モデル G として採用する。
• 連結された x,y の表現を取り、(x,y) が人間生成である確率を出力する CNN 敵対者 D を用いる。
• G と D を、G が離散出力のため REINFORCE によって最適化される GANs に類似した min-max 目的 V(D,G) で訓練する。
• G からサンプルされた翻訳 y′ を表現し、識別器の報酬 -log(1−D(x,y′)) を用いて G を導く。
• 分散を低減するために報酬ベースラインを用いたポリシー勾配更新を適用する。必要に応じて分散削減のためのロールアウトを使用する。
• 安定性のために D を訓練済みの RNNSearch モデルからのサンプルでウォームスタートし、安定性のために Adversarial-NMT 訓練とMLE ベースの更新を交互に適用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は標準的な尤度ベースの訓練より翻訳品質を向上させるか？
• RQ2 CNN ベースの識別子は x,y 空間で人間翻訳と機械翻訳を効果的に区別できるか？
• RQ3 REINFORCE による G と D の共進化は En-Fr および De-En における系列レベルの翻訳品質を向上させるか？
• RQ4 Adversarial-NMT は BLEU を最大化するモデルや最小リスク訓練を用いるモデルと比較してどうか？
• RQ5 敵対的訓練を受けた NMT モデルの安定性と実践的な訓練戦略にはどんな考慮事項があるか？

主な発見

• Adversarial-NMT は En→Fr において、単一層の GRU モデルを含むいくつかの強力なベースラインより BLEU が高い。
• UNK 置換を用いた場合、Adversarial-NMT は BLEU 34.78 に到達し、複数のベースラインを上回る。
• De→En では Adversarial-NMT が BLEU 27.94 を達成し、RNNSearch および MRT ベースラインを上回る。
• 人間評価では Adversarial-NMT の翻訳が MRT より好まれるケースが多数である（59.4％）。
• 敵対的訓練は、より大きな語彙、より深いアーキテクチャ、または追加のモノリンガルデータを用いたモデルよりも、特定の設定下で優れている場合がある。
• 訓練のガイダンスは、判別器の進捗ペースに対しては G よりもロバストであることを示し、敵対的損失とMLE を組み合わせると安定性が向上する。