[论文解读] Interactive Attention for Neural Machine Translation

Fandong Meng, Zhengdong Lu+2 more|arXiv (Cornell University)|Oct 17, 2016

Natural Language Processing Techniques参考文献 26被引用 24

一句话总结

本文提出了一种名为交互注意力（Interactive Attention）的新注意力机制，用于神经机器翻译，通过在解码过程中对源表示实现读取和写入操作，增强了传统注意力机制。通过维护注意力历史的交互式记忆，该模型提升了对齐精度和翻译质量，在NIST中文-英文基准测试中达到最先进性能，相比标准注意力和覆盖模型最高提升4.22 BLEU分数。

ABSTRACT

Conventional attention-based Neural Machine Translation (NMT) conducts dynamic alignment in generating the target sentence. By repeatedly reading the representation of source sentence, which keeps fixed after generated by the encoder (Bahdanau et al., 2015), the attention mechanism has greatly enhanced state-of-the-art NMT. In this paper, we propose a new attention mechanism, called INTERACTIVE ATTENTION, which models the interaction between the decoder and the representation of source sentence during translation by both reading and writing operations. INTERACTIVE ATTENTION can keep track of the interaction history and therefore improve the translation performance. Experiments on NIST Chinese-English translation task show that INTERACTIVE ATTENTION can achieve significant improvements over both the previous attention-based NMT baseline and some state-of-the-art variants of attention-based NMT (i.e., coverage models (Tu et al., 2016)). And neural machine translator with our INTERACTIVE ATTENTION can outperform the open source attention-based NMT system Groundhog by 4.22 BLEU points and the open source phrase-based system Moses by 3.94 BLEU points averagely on multiple test sets.

研究动机与目标

• 为解决传统注意力机制在神经机器翻译中的局限性，后者仅依赖于读取固定的源表示，常导致重复翻译或遗漏翻译。
• 通过在解码器与源表示之间建模动态交互，结合读取和写入操作，提升对齐精度和翻译质量。
• 开发一种内存增强型注意力机制，通过源标注作为主要内存存储，追踪交互历史，无需外部记忆。
• 在低资源和长序列翻译任务中，超越现有的基于注意力的神经机器翻译模型，包括覆盖模型以及开源系统如Groundhog和Moses。

提出的方法

• 交互注意力在源标注上引入读写机制，使解码器在解码过程中既能读取也能写入源表示，实现对源表示的动态修改。
• 该模型采用受神经图灵机启发的记忆更新机制，使源表示能基于注意力历史演变，写入操作可直接修改标注值。
• 每个解码步骤的注意力权重通过更新后的源标注的加权和计算得出，同时融合上下文信息和先前注意力决策的历史。
• 解码器状态通过门控循环单元（GRU）更新，整合前一隐藏状态、前一目标词以及由当前注意力机制生成的上下文向量。
• 源标注通过双向GRU编码器初始化，并在解码过程中通过基于注意力历史调整值的写入操作迭代更新。
• 该模型使用单一统一内存（即源标注）实现读写功能，无需外部记忆，同时支持更丰富的交互。

实验结果

研究问题

• RQ1 在源表示上使用读写注意力机制是否能提升神经机器翻译中的对齐精度和翻译性能？
• RQ2 与静态注意力或基于覆盖的模型相比，交互式记忆更新在处理长而复杂的源句时表现如何？
• RQ3 能够向源表示写入在多大程度上减少了遗漏翻译和重复翻译错误？
• RQ4 是否可以仅在源标注上直接实现内存增强型注意力机制，而无需外部记忆，同时仍获得性能提升？

主要发现

• 交互注意力显著优于传统的基于注意力的神经机器翻译基线模型，在多个测试集上相比开源基于注意力的系统Groundhog最高提升4.22 BLEU分数。
• 该模型相比短语基于系统Moses提升3.94 BLEU分数，表明其在多样化翻译任务中具有强大的泛化能力和鲁棒性。
• 在较长的源句（例如 >40 个词）上，NMT${}_{\textsf{IA}}$ 的BLEU分数始终高于基线模型和覆盖模型，表明其对长距离依赖关系的处理能力更强。
• 通过交互式记忆机制，该模型减少了遗漏翻译错误，使解码器能够追踪已注意或已翻译的源词。
• 实证结果表明，NMT${}_{\textsf{IA}}$-80 在所有测试集上均优于传统注意力模型和基于神经网络的覆盖模型（NN-Cover-80），且在所有句长组中均保持一致的性能提升。