[论文解读] An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation

Gongbo Tang, Rico Sennrich+1 more|arXiv (Cornell University)|Oct 17, 2018

Natural Language Processing Techniques参考文献 13被引用 4

一句话总结

本文研究神经机器翻译（NMT）中的编码器-解码器注意力机制如何处理歧义名词的词义消歧（WSD）。出乎意料的是，研究发现注意力机制更关注歧义词本身而非上下文标记，表明用于WSD的上下文信息主要编码在隐藏状态中，而非注意力分布中。研究揭示，Transformer模型在早期层学习对齐，在后期层则提取未对齐的上下文特征。

ABSTRACT

Recent work has shown that the encoder-decoder attention mechanisms in neural machine translation (NMT) are different from the word alignment in statistical machine translation. In this paper, we focus on analyzing encoder-decoder attention mechanisms, in the case of word sense disambiguation (WSD) in NMT models. We hypothesize that attention mechanisms pay more attention to context tokens when translating ambiguous words. We explore the attention distribution patterns when translating ambiguous nouns. Counter-intuitively, we find that attention mechanisms are likely to distribute more attention to the ambiguous noun itself rather than context tokens, in comparison to other nouns. We conclude that attention mechanism is not the main mechanism used by NMT models to incorporate contextual information for WSD. The experimental results suggest that NMT models learn to encode contextual information necessary for WSD in the encoder hidden states. For the attention mechanism in Transformer models, we reveal that the first few layers gradually learn to "align" source and target tokens and the last few layers learn to extract features from the related but unaligned context tokens.

研究动机与目标

• 调查NMT模型中的注意力机制在翻译歧义词时是否更关注上下文标记。
• 比较标准单层注意力与Transformer中多头自注意力在WSD过程中的行为差异。
• 使用真实测试集评估歧义名词的实际翻译质量，避免使用对比评分方法。
• 确定注意力权重是否与WSD准确率相关，以及数据稀疏性如何影响错误。
• 理解编码器隐藏状态与注意力机制在编码上下文信息以实现消歧中的作用。

提出的方法

• 本研究在ContraWSD测试集上评估WSD性能，直接评估歧义名词的翻译结果，而非对比对。
• 比较两种NMT架构：具有单层注意力的标准RNN模型与具有多头注意力的Transformer模型。
• 分层分析注意力分布，以追踪注意力从对齐到关注未对齐上下文标记的演变过程。
• 研究不同注意力范围下，歧义词上的注意力权重与WSD准确率之间的相关性。
• 通过分析词义在训练数据中的绝对频率与相对频率分布，评估数据稀疏性对错误的影响。
• 分析包括Transformer中各层的注意力模式可视化，以追踪对齐与上下文特征提取的学习进程。

实验结果

研究问题

• RQ1 NMT模型中的注意力机制在翻译歧义名词时，是否比非歧义词更关注上下文标记？
• RQ2 标准单层注意力与Transformer模型在WSD过程中的注意力分布有何不同？
• RQ3 歧义词上的注意力权重越高，是否与更高的WSD准确率相关？
• RQ4 数据稀疏性与低频词义在多大程度上导致NMT中翻译错误？
• RQ5 编码器隐藏状态还是注意力机制在NMT模型中主要承载WSD所需的上下文信息？

主要发现

• RNN模型的WSD准确率为80.2%，Transformer模型为85.5%，数据稀疏性是错误的主要原因。
• 注意力机制始终对歧义词本身分配更高的权重，而非上下文标记，与假设中“优先关注上下文”的预期相反。
• Transformer模型的前几层注意力机制学习对齐源句与目标句的词元，而后期层则关注相关但未对齐的上下文词元。
• 对歧义词分配更高注意力权重与更高的WSD准确率相关，表明注意力权重大小反映了消歧的置信度。
• 尽管对低频词义的注意力权重很高，模型仍会产生错误翻译，证实数据稀疏性严重影响性能。
• 编码器隐藏状态而非注意力机制，是NMT模型中承载WSD所需上下文信息的主要载体。