[论文解读] Exploiting Deep Representations for Neural Machine Translation

Zi-Yi Dou, Zhaopeng Tu+3 more|arXiv (Cornell University)|Oct 24, 2018

Natural Language Processing Techniques参考文献 30被引用 24

一句话总结

该论文提出通过分层聚合与多层注意力机制，结合多样性正则化损失，利用编码器和解码器所有层的深层表征来增强神经机器翻译性能，以促进每层学习独特的信息。实验表明，在 WMT14 En→De 和 WMT17 Zh→En 上，相比 Transformer 模型，BLEU 分数分别提升 +0.54 和 +0.63，且参数更少的模型性能优于更大的基线模型。

ABSTRACT

Advanced neural machine translation (NMT) models generally implement encoder and decoder as multiple layers, which allows systems to model complex functions and capture complicated linguistic structures. However, only the top layers of encoder and decoder are leveraged in the subsequent process, which misses the opportunity to exploit the useful information embedded in other layers. In this work, we propose to simultaneously expose all of these signals with layer aggregation and multi-layer attention mechanisms. In addition, we introduce an auxiliary regularization term to encourage different layers to capture diverse information. Experimental results on widely-used WMT14 English-German and WMT17 Chinese-English translation data demonstrate the effectiveness and universality of the proposed approach.

研究动机与目标

• 为解决深度神经机器翻译模型中中间层表征利用不足的问题，这些模型通常仅使用顶层输出。
• 通过融合所有编码器和解码器层的信息，而非仅限于最终层，以提升翻译性能。
• 通过辅助正则化项，鼓励各层学习多样化且非冗余的特征。
• 在不同语言对和模型架构上验证该方法的有效性与泛化能力。

提出的方法

• 引入分层聚合机制，将所有层中相同位置的隐藏状态进行组合，形成更丰富的表征。
• 实现多层注意力机制，支持跨层与跨位置的信息融合，增强上下文建模能力。
• 提出一种多样性正则化项，惩罚层间特征相似性，促进各层捕捉不同信息。
• 将该方法应用于 Transformer 架构，修改编码器和解码器堆叠结构，以暴露所有层的输出。
• 保留原始 Transformer 中的残差连接与层归一化，以维持训练稳定性。
• 使用标准交叉熵损失与附加的多样性正则化项进行端到端训练。

实验结果

研究问题

• RQ1 融合所有编码器和解码器层的表征是否能提升神经机器翻译性能？
• RQ2 结合不同位置与层信息的多层注意力机制是否能带来更好的翻译质量？
• RQ3 一种鼓励层间多样性的正则化项能否提升深层表征的实用性？
• RQ4 所提出的方法是否在不同语言对和模型架构上具有泛化能力？

主要发现

• 所提方法在 WMT14 英语到德语翻译任务中，相比原始 Transformer 模型，BLEU 分数提升 +0.54。
• 在 WMT17 中文到英语翻译任务中，该方法相比基线模型性能提升 +0.63 BLEU 分数。
• 采用深层表征挖掘的小型 Transformer-Base 模型，性能优于参数更多、更庞大的原始 Transformer-Big 模型。
• 可视化结果表明，模型在聚合过程中有效利用了低层表征，证实了跨层融合的成功。
• 多样性正则化促使各层贡献更加均衡，降低了顶层的主导性。