[论文解读] Dual Skew Divergence Loss for Neural Machine Translation

Fengshun Xiao, Yingting Wu+3 more|arXiv (Cornell University)|Sep 27, 2018

Natural Language Processing Techniques参考文献 34被引用 4

一句话总结

本文提出双偏度散度（DSD）损失，一种用于神经机器翻译的扩展训练目标，通过平衡误差避免与鲁棒性，提升泛化能力并避免陷入局部最优。在 WMT 2014 英德与英法基准上的实证结果表明，DSD 在翻译性能上优于最大似然与基线损失。

ABSTRACT

For neural sequence model training, maximum likelihood (ML) has been commonly adopted to optimize model parameters with respect to the corresponding objective. However, in the case of sequence prediction tasks like neural machine translation (NMT), training with the ML-based cross entropy loss would often lead to models that overgeneralize and plunge into local optima. In this paper, we propose an extended loss function called dual skew divergence (DSD), which aims to give a better tradeoff between generalization ability and error avoidance during NMT training. Our empirical study indicates that switching to DSD loss after the convergence of ML training helps the model skip the local optimum and stimulates a stable performance improvement. The evaluations on WMT 2014 English-German and English-French translation tasks demonstrate that the proposed loss indeed helps bring about better translation performance than several baselines.

研究动机与目标

• 为解决神经机器翻译中最大似然（ML）训练的局限性，后者常导致过泛化并收敛至较差的局部最优解。
• 开发一种损失函数，以在 NMT 训练过程中更好地平衡模型泛化能力与误差避免。
• 通过使模型在初始最大似然收敛后能够逃离次优解，从而提升翻译性能。

提出的方法

• 提出双偏度散度（DSD）作为扩展损失函数，结合两种偏度散度，以更精确地对齐模型预测与参考输出。
• 在模型经最大似然训练收敛后，应用 DSD 损失以微调参数并逃离局部最优。
• 利用偏度散度度量惩罚预测中的过度自信与不足自信，从而增强鲁棒性。
• 将 DSD 作为标准最大似然训练后的微调目标，利用其纠正分布不匹配的能力。
• 设计损失函数为可微形式，与标准 NMT 架构和训练流程兼容。

实验结果

研究问题

• RQ1 修改后的损失函数是否能在神经机器翻译中超越标准最大似然训练，实现更好的翻译性能？
• RQ2 双偏度散度是否能有效帮助模型在训练过程中逃离局部最优？
• RQ3 在标准 NMT 基准上，DSD 与基线损失函数相比，在泛化能力与鲁棒性方面表现如何？

主要发现

• 在最大似然收敛后切换至 DSD 损失，可在英德与英法翻译任务上实现稳定性能提升。
• 所提出的 DSD 损失在 WMT 2014 基准上优于最大似然及其他基线损失函数，实现更优的翻译性能。
• DSD 有效缓解了过泛化问题，并帮助模型在训练过程中避免陷入次优局部最优。
• 实证结果证实，DSD 通过平衡误差避免与泛化能力，增强了模型鲁棒性。