[论文解读] Neural Machine Translation with Gumbel-Greedy Decoding

Jiatao Gu, Daniel Jiwoong Im+1 more|arXiv (Cornell University)|Jun 22, 2017

Natural Language Processing Techniques被引用 13

一句话总结

本文提出Gumbel-Greedy Decoding（GGD），一种用于神经机器翻译的可微序列生成方法，通过使用Gumbel-Softmax重参数化技巧，用可训练的生成器替代启发式搜索。该方法通过对抗学习训练生成器直接预测最优翻译，无需束搜索（beam search）即可在多个语料对上取得SOTA的BLEU分数。

ABSTRACT

Previous neural machine translation models used some heuristic search algorithms (e.g., beam search) in order to avoid solving the maximum a posteriori problem over translation sentences at test time. In this paper, we propose the Gumbel-Greedy Decoding which trains a generative network to predict translation under a trained model. We solve such a problem using the Gumbel-Softmax reparameterization, which makes our generative network differentiable and trainable through standard stochastic gradient methods. We empirically demonstrate that our proposed model is effective for generating sequences of discrete words.

研究动机与目标

• 解决神经序列建模推理过程中离散标记生成不可微的问题。
• 克服束搜索和贪婪解码等启发式搜索方法在神经机器翻译中的局限性。
• 开发一种可微的、端到端可训练的框架，直接在测试阶段优化高质量翻译序列。
• 利用Gumbel-Softmax重参数化技巧实现离散序列生成器的稳定训练。
• 证明在判别器-生成器设置下使用对抗训练可提升翻译质量，优于标准MLE和REINFORCE基线方法。

提出的方法

• 使用Gumbel-Softmax重参数化技巧，从词汇表标记的分类分布中可微地采样，使反向传播能够通过离散输出。
• 训练生成器网络直接预测最可能的翻译序列，从而在推理时绕过启发式搜索。
• 采用判别器网络区分真实翻译（来自训练集）和生成器生成的翻译，形成类似GAN的训练目标。
• 使用强化学习目标联合训练生成器和判别器，采用全局奖励函数，使生成器学习生成高似然、高质量的翻译。
• 在基于采样的训练过程中，对生成器应用熵正则化，以提升探索能力并减少模式崩溃。
• 使用Gumbel-Softmax采样策略以在反向传播中稳定梯度，特别是在低概率标记选择场景下。

实验结果

研究问题

• RQ1 可微的、端到端可训练的生成器是否能替代神经机器翻译中的启发式搜索？
• RQ2 使用Gumbel-Softmax重参数化是否能在类似GAN的框架中实现离散序列生成器的稳定训练？
• RQ3 与标准MLE和REINFORCE训练相比，Gumbel-Greedy Decoding在翻译质量上表现如何？
• RQ4 何种训练配置（如采样与贪婪、熵正则化）在GGD框架中能取得最佳性能？
• RQ5 在推理阶段无需真实标签监督的情况下，使用判别器的对抗训练是否能提升生成翻译的质量？

主要发现

• 在所有四个语料对上，GGD-GAN模型在贪婪解码下的BLEU分数均高于MLE和REINFORCE基线：DE-EN（22.47 vs. 21.63）、EN-DE（19.38 vs. 18.97）、CS-EN（20.12 vs. 18.90）和EN-CS（15.40 vs. 14.49）。
• 在束搜索（束大小=5）设置下，GGD-GAN模型进一步提升性能，DE-EN达到25.32 BLEU（MLE为24.46），EN-DE为21.27（MLE为21.33），CS-EN为21.17（MLE为21.20），EN-CS为16.44（MLE为16.20）。
• 联合训练生成器与判别器，并结合基于采样的生成器与熵正则化，可获得最佳结果，优于基于贪婪的训练方法。
• 与直通估计器相比，Gumbel-Softmax重参数化在低概率标记采样时显著降低了梯度偏差，从而实现更稳定的训练。
• 所提方法在多种语言对上持续提升翻译质量，证明其在合成或小规模任务之外具有良好的泛化能力。
• GGD框架是首个在大规模平行语料上将Gumbel-Softmax应用于生成器-判别器设置的神经机器翻译方法，在真实世界NMT任务中优于先前的GAN基方法。