[论文解读] A GRU-Gated Attention Model for Neural Machine Translation

Biao Zhang, Deyi Xiong+1 more|arXiv (Cornell University)|Apr 27, 2017

Natural Language Processing Techniques参考文献 17被引用 27

一句话总结

本文提出一种GRU门控注意力机制（GAtt），用于神经机器翻译，通过使源表示对解码器状态敏感，增强上下文向量的判别能力。通过使用GRU将原始源端注释与先前的解码器状态结合，GAtt生成更具多样性与判别性的上下文向量，显著减少过翻译现象，并在中英翻译基准上相比原始注意力模型提升翻译质量。

ABSTRACT

Neural machine translation (NMT) heavily relies on an attention network to produce a context vector for each target word prediction. In practice, we find that context vectors for different target words are quite similar to one another and therefore are insufficient in discriminatively predicting target words. The reason for this might be that context vectors produced by the vanilla attention network are just a weighted sum of source representations that are invariant to decoder states. In this paper, we propose a novel GRU-gated attention model (GAtt) for NMT which enhances the degree of discrimination of context vectors by enabling source representations to be sensitive to the partial translation generated by the decoder. GAtt uses a gated recurrent unit (GRU) to combine two types of information: treating a source annotation vector originally produced by the bidirectional encoder as the history state while the corresponding previous decoder state as the input to the GRU. The GRU-combined information forms a new source annotation vector. In this way, we can obtain translation-sensitive source representations which are then feed into the attention network to generate discriminative context vectors. We further propose a variant that regards a source annotation vector as the current input while the previous decoder state as the history. Experiments on NIST Chinese-English translation tasks show that both GAtt-based models achieve significant improvements over the vanilla attentionbased NMT. Further analyses on attention weights and context vectors demonstrate the effectiveness of GAtt in improving the discrimination power of representations and handling the challenging issue of over-translation.

研究动机与目标

• 为解决神经机器翻译中因上下文向量方差过低而导致的过翻译问题。
• 通过使上下文向量对解码器部分翻译的依赖性增强，提升注意力机制中上下文向量的判别能力。
• 通过使用循环门控机制优化源表示，减少生成翻译中的冗余。
• 提出一种新型注意力机制，能够根据解码器状态动态调整源表示，提升对齐准确度。

提出的方法

• 在编码器与注意力机制之间引入GRU门控层，将原始源端注释作为隐藏状态，先前的解码器状态作为输入。
• GRU将源表示与解码器状态结合，生成对翻译敏感的源端注释，随后用于注意力机制。
• 提出一种变体（GAtt-Inv），将解码器状态作为隐藏状态，源注释作为输入，探索不同的门控动态。
• 使用门控循环单元（GRU）通过重置门与更新门控制信息流动，实现对源表示的动态调制。
• 通过在优化后的源表示上应用标准注意力机制生成上下文向量，提升其判别能力。
• 采用类似残差连接的机制，在保留原始语义信息的同时实现自适应优化。

实验结果

研究问题

• RQ1 提升上下文向量的判别能力是否能减少神经机器翻译中的过翻译现象？
• RQ2 使源表示依赖于解码器状态，如何影响注意力对齐与翻译质量？
• RQ3 与原始注意力相比，GRU门控机制是否能生成更具多样性与信息量的上下文向量？
• RQ4 所提出的GAtt模型是否能在低资源或复杂翻译任务（如中英翻译）中超越标准注意力机制的神经机器翻译系统？
• RQ5 门控顺序的选择（以源表示或解码器状态作为隐藏状态）如何影响模型性能与泛化能力？

主要发现

• 基于GAtt的模型在NIST中英翻译基准上相比原始注意力模型（RNNSearch）取得显著提升，BLEU分数提高1.85分。
• 上下文向量在各维度上的平均方差从RNNSearch的0.0057提升至GAtt的0.0365，表明判别能力更强。
• 1-gram的N-gram重复率（N-GRR）从RNNSearch的19.12降至GAtt-Inv的16.79，表明过翻译现象减少。
• 注意力权重在GAtt中更准确，与相关源词对齐更佳，经可视化与定性分析验证。
• GAtt-Inv变体在所有n-gram重复率指标上均优于标准GAtt，表明在处理冗余方面具有更好的泛化能力。
• 消融实验验证了模型有效性，表明上下文向量方差与注意力锐度与翻译质量直接相关。