[论文解读] Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter

Lijun Wu, Xu Tan+5 more|arXiv (Cornell University)|Sep 1, 2018

Natural Language Processing Techniques参考文献 28被引用 7

一句话总结

本文挑战了当前普遍认为神经机器翻译（NMT）中准确度下降的主要原因是误差传播的观点，即后续生成的词语准确度较低。相反，本文表明语言特征——特别是语言的分支方向（右分支 vs. 左分支）——起着更为关键的作用：在右分支语言（如英语）中，翻译的左侧部分准确度更高；而在左分支语言（如日语）中，右侧部分准确度更高，这一现象与解码方向无关。该见解在Transformer和RNN模型中均得到验证，并扩展至文本摘要任务。

ABSTRACT

Neural machine translation usually adopts autoregressive models and suffers from exposure bias as well as the consequent error propagation problem. Many previous works have discussed the relationship between error propagation and the \emph{accuracy drop} (i.e., the left part of the translated sentence is often better than its right part in left-to-right decoding models) problem. In this paper, we conduct a series of analyses to deeply understand this problem and get several interesting findings. (1) The role of error propagation on accuracy drop is overstated in the literature, although it indeed contributes to the accuracy drop problem. (2) Characteristics of a language play a more important role in causing the accuracy drop: the left part of the translation result in a right-branching language (e.g., English) is more likely to be more accurate than its right part, while the right part is more accurate for a left-branching language (e.g., Japanese). Our discoveries are confirmed on different model structures including Transformer and RNN, and in other sequence generation tasks such as text summarization.

研究动机与目标

• 调查误差传播是否是神经机器翻译（NMT）中准确度下降的主要原因，即后续生成的词语准确度较低。
• 检验语言特征，特别是语言分支方向（右分支 vs. 左分支），是否显著影响翻译序列中各部分的准确度分布。
• 评估所观察到的准确度下降模式是否在不同模型架构（如Transformer、RNN）和序列生成任务（如文本摘要）中保持一致。
• 使用n-gram和依存句法分析统计量提供实证证据，解释语言结构与准确度分布之间的相关性。

提出的方法

• 在多个语种对（如En-De、En-Zh、En-Ja、En-Tr）上训练自左向右和自右向左的NMT模型，比较生成翻译中左右两半的准确度分布。
• 在推理过程中应用教师强制（teacher forcing）以消除误差传播的影响，从而隔离其对准确度下降的作用，并与标准自回归解码结果进行对比。
• 分析n-gram频率和条件概率，评估右分支语言与左分支语言在句子不同部分的结构可预测性。
• 通过依存句法分析测量翻译句子中左右部分的句法依赖密度。
• 将实验扩展至基于RNN的生成式文本摘要任务，在Gigaword数据集上测试其在翻译之外任务中的泛化能力。
• 使用BLEU和ROUGE F1分数定量比较不同解码方向和模型类型下生成序列左右两半的准确度差异。

实验结果

研究问题

• RQ1 误差传播是否是神经机器翻译中准确度下降的主要驱动因素，即后续生成的词语准确度较低？
• RQ2 目标语言的分支方向（右分支 vs. 左分支）是否显著影响翻译中左右两部分的准确度分布？
• RQ3 通过教师强制实验，误差传播对准确度下降的贡献程度如何？
• RQ4 n-gram频率和依存句法分析等语言统计量是否支持‘结构可预测性随分支方向在句子不同部分而变化’的假设？
• RQ5 所观察到的准确度下降模式是否能推广到其他序列生成任务，如生成式文本摘要？

主要发现

• 仅靠误差传播无法完全解释准确度下降现象，因为教师强制虽能降低但无法消除翻译左右两部分之间的性能差距。
• 对于右分支语言（如英语和德语），无论解码方向是自左向右还是自右向左，翻译的左半部分始终比右半部分更准确。
• 对于左分支语言（如日语和土耳其语），翻译的右半部分比左半部分更准确，表明准确度模式因语言结构而发生反转。
• n-gram频率和条件概率在右分支语言的左半部分以及左分支语言的右半部分显著更高，支持了结构可预测性随分支方向变化的假设。
• 依存句法分析统计显示，右分支语言的左半部分和左分支语言的右半部分具有更多的句法依赖关系，进一步验证了准确度分布的语言学基础。
• 该准确度下降模式在不同模型架构（Transformer和RNN）以及任务（翻译与生成式摘要）中均保持一致，证实了其稳健性与语言学根源。