[论文解读] Hard but Robust, Easy but Sensitive: How Encoder and Decoder Perform in Neural Machine Translation

Tianyu He, Xu Tan+1 more|arXiv (Cornell University)|Aug 17, 2019

Natural Language Processing Techniques参考文献 33被引用 8

一句话总结

本文通过实证分析研究了基于Transformer的神经机器翻译中编码器与解码器的各自作用。研究发现，解码器所处理的任务比编码器更简单，收敛更快，且对输入噪声更敏感——这主要是因为前面的词元为解码器提供了强有力的条件上下文。这些发现揭示了编码器-解码器框架中的固有不对称性，并为未来提升模型鲁棒性与效率的设计提供了启示。

ABSTRACT

Neural machine translation (NMT) typically adopts the encoder-decoder framework. A good understanding of the characteristics and functionalities of the encoder and decoder can help to explain the pros and cons of the framework, and design better models for NMT. In this work, we conduct an empirical study on the encoder and the decoder in NMT, taking Transformer as an example. We find that 1) the decoder handles an easier task than the encoder in NMT, 2) the decoder is more sensitive to the input noise than the encoder, and 3) the preceding words/tokens in the decoder provide strong conditional information, which accounts for the two observations above. We hope those observations can shed light on the characteristics of the encoder and decoder and inspire future research on NMT.

研究动机与目标

• 理解神经机器翻译中编码器与解码器在功能和性能上的差异。
• 探究为何解码器在训练上看似更简单，却对噪声更敏感。
• 分析自回归条件依赖在塑造解码器行为方面的作用。
• 为编码器-解码器框架中的不对称性提供实证证据，以指导未来神经机器翻译模型的改进。

提出的方法

• 在IWSLT14及其他翻译任务上，分别独立调整编码器和解码器的层数，实证比较其训练负担。
• 通过固定其中一个组件（编码器或解码器）而微调另一组件，测量收敛速度。
• 引入受控的输入噪声（如随机丢弃、噪声注入、词元互换），评估编码器与解码器对输入扰动的敏感性。
• 对比自回归与非自回归神经机器翻译模型，以隔离前序词元条件依赖对模型行为的影响。
• 通过选择性地丢弃特定词性（POS）的词元，分析不同词性类型对模型敏感性的影响。
• 使用BLEU分数作为主要指标，评估在各种扰动和配置下的模型性能。

实验结果

研究问题

• RQ1 为何解码器在增加层数时比编码器获得更大的BLEU提升，且收敛更快？
• RQ2 为何解码器对输入噪声的敏感性高于编码器？
• RQ3 解码器自回归生成过程中前序词元的存在如何影响其性能与鲁棒性？
• RQ4 不同词性在多大程度上影响编码器与解码器对输入扰动的敏感性？

主要发现

• 解码器所处理的任务比编码器更简单，因为增加解码器层数带来的BLEU提升幅度大于编码器。
• 当固定参数进行微调时，解码器收敛速度明显快于编码器，表明其训练难度更低。
• 解码器对输入噪声的敏感性显著高于编码器——在解码器输入中引入噪声导致的BLEU分数下降幅度，大于在编码器输入中引入噪声的影响。
• 解码器中前序词元提供的强条件信息，解释了其训练更简单以及对输入扰动更敏感的双重现象。
• 解码器对句末符号（EOS）最敏感，而编码器对名词和形容词最敏感。
• 非自回归模型的性能显著低于自回归模型，证实了自回归条件依赖在模型鲁棒性与准确性中的关键作用。