[论文解读] Implicit Distortion and Fertility Models for Attention-based Encoder-Decoder NMT Model

Feng Shi, Shujie Liu+2 more|arXiv (Cornell University)|Jan 13, 2016

Multimodal Machine Learning Applications参考文献 22被引用 39

一句话总结

本文提出隐式畸变与词频模型以解决基于注意力机制的神经机器翻译（NMT）中的对齐错误。通过引入RecAtt（循环注意力）、RNNAtt（带长期记忆的循环注意力）和CondDec（条件解码），作者提升了对齐准确性，减少了重复与覆盖问题，在中英翻译任务上相较标准注意力机制实现了2 BLEU的性能提升。

ABSTRACT

Neural machine translation has shown very promising results lately. Most NMT models follow the encoder-decoder framework. To make encoder-decoder models more flexible, attention mechanism was introduced to machine translation and also other tasks like speech recognition and image captioning. We observe that the quality of translation by attention-based encoder-decoder can be significantly damaged when the alignment is incorrect. We attribute these problems to the lack of distortion and fertility models. Aiming to resolve these problems, we propose new variations of attention-based encoder-decoder and compare them with other models on machine translation. Our proposed method achieved an improvement of 2 BLEU points over the original attention-based encoder-decoder.

研究动机与目标

• 解决序列到序列NMT模型中因错误注意力对齐导致的翻译性能下降问题。
• 识别缺乏显式畸变与词频建模是导致对齐错误（如词序错乱、重复与覆盖失败）的根本原因。
• 提出隐式畸变与词频模型，以在不依赖显式词序重排或词频标注的情况下增强注意力机制。
• 评估这些模型对对齐质量及BLEU等自动翻译指标的影响。
• 探讨不同注意力变体在处理长距离依赖与重复问题时的权衡。

提出的方法

• 提出RecAtt，一种将前一时刻上下文向量引入当前注意力计算的循环注意力机制，以更好地建模词序错乱（畸变）。
• 引入RNNAtt，一种具有更长记忆能力的复杂循环注意力单元，通过学习先前注意力状态来减少长距离重复。
• 开发CondDec，一种条件解码机制，通过基于注意力历史进行解码来隐式建模词频，从而减少重复与覆盖问题。
• 采用标准编码器-解码器框架，编码器使用双向LSTM，解码器使用单向LSTM，注意力机制通过引入循环或条件组件进行修改。
• 采用端到端训练策略，使用交叉熵损失，注意力权重通过缩放点积注意力函数计算。
• 在中英翻译任务上评估模型，使用BLEU与定性对齐分析，与RNNSearch及短语基于SMT基线模型进行比较。

实验结果

研究问题

• RQ1 通过循环注意力实现隐式畸变建模，能否提升对齐准确性并减少NMT中的词序错乱？
• RQ2 循环注意力机制能否缓解注意力对齐中的长期重复问题？
• RQ3 结合词频建模的条件解码能否减少覆盖问题并提升翻译中的内容保留能力？
• RQ4 不同注意力变体（RecAtt、RNNAtt、CondDec）在BLEU分数与对齐质量方面表现如何比较？
• RQ5 在NMT中，循环注意力机制的模型复杂度与性能之间存在何种权衡？

主要发现

• RecAtt在中英翻译任务上相较标准RNNSearch模型实现了2 BLEU点的性能提升，优于所有其他测试变体。
• CondDec相较RNNSearch将翻译质量提升了1 BLEU点，证明了隐式词频建模的有效性。
• 定性分析显示，RecAtt显著减少了覆盖问题，使注意力更完整地覆盖源句各个位置。
• RecAtt生成的对齐结果正确地将'next year'与'election'关联，而非与'violence'关联，从而保留了句子语义。
• RNNAtt有效解决了RecAtt与RNNSearch无法处理的长期重复问题，尽管因训练困难导致BLEU表现欠佳。
• CondDec与RecAtt及RNNAtt的组合正在积极研究中，表明未来可能实现进一步性能提升。