[论文解读] Regularizing Neural Machine Translation by Target-bidirectional Agreement

Zhirui Zhang, Shuangzhi Wu+4 more|arXiv (Cornell University)|Aug 13, 2018

Natural Language Processing Techniques参考文献 27被引用 8

一句话总结

本文提出了一种用于神经机器翻译（NMT）的新型正则化方法，通过强制自左向右（L2R）和自右向左（R2L）解码器之间的一致性，提升翻译质量。通过在训练目标中添加两个Kullback-Leibler散度项，并联合优化两个模型，该方法减轻了暴露偏差问题，在中英和英德翻译任务上显著提升了性能。

ABSTRACT

Although Neural Machine Translation (NMT) has achieved remarkable progress in the past several years, most NMT systems still suffer from a fundamental shortcoming as in other sequence generation tasks: errors made early in generation process are fed as inputs to the model and can be quickly amplified, harming subsequent sequence generation. To address this issue, we propose a novel model regularization method for NMT training, which aims to improve the agreement between translations generated by left-to-right (L2R) and right-to-left (R2L) NMT decoders. This goal is achieved by introducing two Kullback-Leibler divergence regularization terms into the NMT training objective to reduce the mismatch between output probabilities of L2R and R2L models. In addition, we also employ a joint training strategy to allow L2R and R2L models to improve each other in an interactive update process. Experimental results show that our proposed method significantly outperforms state-of-the-art baselines on Chinese-English and English-German translation tasks.

研究动机与目标

• 解决NMT中的暴露偏差问题，即自回归生成过程中早期错误被放大并降低翻译质量。
• 通过利用L2R与R2L解码器的互补优势，提升序列生成的鲁棒性。
• 通过在训练过程中对齐L2R与R2L模型的概率分布，减少训练与推理之间的不一致性。
• 开发一种简单高效的正则化技术，不改变模型架构或推理速度。
• 通过共享正则化目标的交互式联合训练，实现L2R与R2L模型之间的相互提升。

提出的方法

• 将两个Kullback-Leibler（KL）散度正则化项引入标准NMT训练目标，以最小化L2R与R2L模型输出概率分布之间的差异。
• 使用L2R与R2L模型输出之间的KL散度作为代理指标，在训练过程中度量并减少暴露偏差。
• 设计一种高效的近似算法，以计算正则化项，同时显著降低训练时间开销。
• 实施一种联合训练策略，其中L2R与R2R模型以交互方式更新，彼此作为对方的辅助。
• 通过避免对解码器结构或推理机制的修改，保持原始模型架构与推理速度。
• 端到端联合训练两个模型，共享目标函数，结合最大似然估计与跨模型一致性正则化。

实验结果

研究问题

• RQ1 在训练过程中强制L2R与R2L NMT解码器之间的一致性，是否能减少暴露偏差并提升翻译质量？
• RQ2 与标准MLE训练相比，所提出的KL散度正则化在提升序列生成鲁棒性方面效果如何？
• RQ3 通过具有双向一致性的联合训练，L2R与R2L模型在多大程度上能相互提升？
• RQ4 该方法在保持推理速度的同时，是否能在多样化的翻译任务上实现优于强基线模型的性能？
• RQ5 该正则化技术是否可泛化至其他序列到序列任务（如摘要生成或对话生成）？

主要发现

• 所提方法在中英与英德翻译任务上显著优于当前最先进基线模型，BLEU分数持续提升。
• 通过双向一致性联合训练，减少了错误前缀与后缀的生成，定性分析表明两模型优势得以结合。
• 该方法在不改变模型架构或增加推理时间的前提下提升翻译质量，保持了标准NMT系统的高效性。
• KL散度正则化有效度量并缓解了暴露偏差，通过促进L2R与R2L输出之间的一致性。
• 案例研究显示，该模型生成的翻译质量优于独立的L2R或R2L模型，尤其在存在错误传播风险的长序列上表现更优。
• 该方法在Transformer架构上同样有效，表明其在不同NMT架构中具有广泛适用性。