[论文解读] Adversarial Neural Machine Translation

Lijun Wu, Yingce Xia+5 more|arXiv (Cornell University)|Apr 20, 2017

Natural Language Processing Techniques参考文献 34被引用 72

一句话总结

本文提出 Adversarial-NMT，一种用于神经机器翻译的对抗训练框架，使用基于 CNN 的判别器和策略梯度来提升翻译质量，超过标准 NMT.training.

ABSTRACT

In this paper, we study a new learning paradigm for Neural Machine Translation (NMT). Instead of maximizing the likelihood of the human translation as in previous works, we minimize the distinction between human translation and the translation given by an NMT model. To achieve this goal, inspired by the recent success of generative adversarial networks (GANs), we employ an adversarial training architecture and name it as Adversarial-NMT. In Adversarial-NMT, the training of the NMT model is assisted by an adversary, which is an elaborately designed Convolutional Neural Network (CNN). The goal of the adversary is to differentiate the translation result generated by the NMT model from that by human. The goal of the NMT model is to produce high quality translations so as to cheat the adversary. A policy gradient method is leveraged to co-train the NMT model and the adversary. Experimental results on English$ ightarrow$French and German$ ightarrow$English translation tasks show that Adversarial-NMT can achieve significantly better translation quality than several strong baselines.

研究动机与目标

• 激发一种学习范式，旨在缩小人类翻译与 NMT 输出之间的差距。
• 引入受GANs启发的用于序列到序列翻译的对抗训练设置。
• 设计基于 CNN 的对手/对手者以区分人类翻译与机器翻译，并为生成器设计策略梯度训练方案。
• 在英法与德英基准上展示翻译质量提升。
• 表明对抗训练在可比词汇表和模型规模下也能超越强基线。

提出的方法

• 采用带注意力的编码器-解码器 RNN（RNNSearch）作为 NMT 模型 G。
• 使用一个 CNN 对手 D，它接收拼接的 x,y 表示并输出 (x,y) 为人类生成的概率。
• 以类似于 GAN 的对抗性最小-最大目标 V(D,G) 训练 G 与 D，由于输出离散，G 使用 REINFORCE 进行优化。
• 用从 G(y′|x) 采样的翻译 y′ 表示，并使用判别器的奖励 -log(1−D(x,y′)) 来引导 G。
• 应用带奖励基线的策略梯度更新以降低方差；可选使用滚动展开 (roll-outs) 以降低方差。
• 用训练好的 RNNSearch 模型的样本对 D 进行热启动，并让 Adversarial-NMT 训练与基于 MLE 的更新交替，以提升稳定性。

实验结果

研究问题

• RQ1 对抗性训练是否优于标准基于似然的训练在机器翻译质量上的提升？
• RQ2 基于 CNN 的判别器是否能够在 x,y 空间中有效地区分人类翻译与机器翻译？
• RQ3 通过 REINFORCE 共同演化 G 和 D 是否在 En↔Fr 与 De↔En 上获得更好的序列层次翻译质量？
• RQ4 Adversarial-NMT 与最大化 BLEU 或使用最小风险训练的模型相比如何？
• RQ5 对抗训练的 NMT 模型在稳定性方面的注意事项与实际训练策略是什么？

主要发现

• Adversarial-NMT 在 En→Fr 上比若干强基线获得更高的 BLEU，包括单层 GRU 模型。
• 在 UNK 替换后，Adversarial-NMT 达到 BLEU 34.78，超越多项基线。
• 在 De→En 上，Adversarial-NMT 达到 BLEU 27.94，超越 RNNSearch 与 MRT 基线。
• 人工评估表明在多数情况下（59.4%）偏好 Adversarial-NMT 的翻译胜过 MRT。
• 在某些设定下，对抗训练可超越具备更大词汇表、深层架构或额外单语数据的模型。
• 训练指引显示 Adversarial-NMT 对判别器进展速度的鲁棒性高于对生成器的鲁棒性，并把对抗损失与MLE结合可提高稳定性。