[论文解读] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets

Zhen Yang, Wei Chen+2 more|arXiv (Cornell University)|Mar 15, 2017

Natural Language Processing Techniques参考文献 31被引用 11

一句话总结

本文提出 BR-CSGAN，一种条件序列生成对抗网络，通过联合训练生成器与判别器以生成类人翻译，从而提升神经机器翻译性能。通过将对抗训练与平滑的句级 BLEU 目标相结合，该模型在英语-德语和中文-英语翻译任务上达到最先进性能，优于 RNNSearch 与 Transformer 域基准模型。

ABSTRACT

This paper proposes an approach for applying GANs to NMT. We build a conditional sequence generative adversarial net which comprises of two adversarial sub models, a generator and a discriminator. The generator aims to generate sentences which are hard to be discriminated from human-translated sentences (i.e., the golden target sentences), And the discriminator makes efforts to discriminate the machine-generated sentences from human-translated ones. The two sub models play a mini-max game and achieve the win-win situation when they reach a Nash Equilibrium. Additionally, the static sentence-level BLEU is utilized as the reinforced objective for the generator, which biases the generation towards high BLEU points. During training, both the dynamic discriminator and the static BLEU objective are employed to evaluate the generated sentences and feedback the evaluations to guide the learning of the generator. Experimental results show that the proposed model consistently outperforms the traditional RNNSearch and the newly emerged state-of-the-art Transformer on English-German and Chinese-English translation tasks.

研究动机与目标

• 为解决最大似然估计在 NMT 中的局限性，该方法旨在优化局部词级别似然，但可能导致句级输出次优。
• 通过对抗学习训练生成器，使其生成的句子与人类翻译难以区分，从而提升翻译质量。
• 将静态的任务特定目标——平滑的句级 BLEU——融入对抗框架，以引导生成器向更高 BLEU 分数方向优化。
• 通过仔细初始化判别器的准确率，实现生成器与判别器之间的训练动态平衡，避免模式崩溃或梯度信号差的问题。
• 在多种 NMT 架构（包括 RNNSearch 与 Transformer）上评估所提方法的有效性。

提出的方法

• 模型采用条件序列 GAN，其中生成器根据源句生成目标句，判别器则判断目标句是人类生成还是机器生成。
• 生成器与判别器通过极小极大博弈进行训练，目标是达到纳什均衡：生成器生成逼真翻译，判别器能准确区分真实与生成句。
• 使用平滑的句级 BLEU 分数作为静态强化目标，引导生成器生成高精度、高覆盖率的翻译。
• 训练过程中，结合动态判别器反馈与静态 BLEU 目标计算奖励，并通过策略梯度方法更新生成器。
• 采用不同采样规模（N）的蒙特卡洛搜索来近似训练期间的期望奖励，以平衡准确率与计算成本。
• 判别器预先训练至初始准确率约 0.8，以确保对抗训练的稳定起始，避免训练不稳定。

实验结果

研究问题

• RQ1 对抗训练能否有效应用于神经机器翻译，以提升句级流畅性与自然度？
• RQ2 将对抗训练与句级 BLEU 目标结合，相较于标准 MLE 或 MRT，对翻译质量有何影响？
• RQ3 判别器初始准确率对对抗训练过程的稳定性与性能有何影响？
• RQ4 奖励近似中蒙特卡洛采样数（N）对最终翻译性能与训练稳定性有何影响？
• RQ5 所提出的 BR-CSGAN 框架是否能在不同 NMT 架构（如 RNNSearch 与 Transformer）上持续提升性能？

主要发现

• BR-CSGAN 模型在英语-德语与中文-英语翻译任务上，对 RNNSearch 与 Transformer 均实现持续性能提升，证明其通用性。
• 在中文-英语翻译任务中，采用 N=20 蒙特卡洛采样的模型在 NIST02 上达到 38.74 的 BLEU 分数，超过微调前的生成器（36.87），并表现出稳定提升。
• 当判别器初始准确率过高（0.95）或过低（0.6）时，模型性能显著下降，表明初始平衡对训练稳定性至关重要。
• 当蒙特卡洛采样数 N 低于 15 时，训练变得不稳定且 BLEU 分数更差，表明采样不足会引入奖励估计的高方差。
• 当 N ≥ 20 时，进一步增加采样数带来的性能增益微乎其微，表明存在计算成本与奖励准确率之间的权衡。
• 该模型优于基线 RNNSearch 与 Transformer 模型，证明将对抗训练与平滑 BLEU 目标结合可显著提升翻译质量。