[论文解读] Improving Attention Mechanism with Query-Value Interaction

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 18被引用 5

一句话总结

本文提出查询-值交互（QVI）机制，通过建模查询与值之间的直接交互来增强注意力机制，利用逐元素交互和门控机制学习查询感知的注意力值。在文本分类和命名实体识别（NER）任务上的实验表明，该方法在多种模型（包括Transformer、BERT和CNN-LSTM架构）上均实现了稳定的性能提升，证明了引入查询-值交互可改善表征学习并提高模型准确率。

ABSTRACT

Attention mechanism has played critical roles in various state-of-the-art NLP models such as Transformer and BERT. It can be formulated as a ternary function that maps the input queries, keys and values into an output by using a summation of values weighted by the attention weights derived from the interactions between queries and keys. Similar with query-key interactions, there is also inherent relatedness between queries and values, and incorporating query-value interactions has the potential to enhance the output by learning customized values according to the characteristics of queries. However, the query-value interactions are ignored by existing attention methods, which may be not optimal. In this paper, we propose to improve the existing attention mechanism by incorporating query-value interactions. We propose a query-value interaction function which can learn query-aware attention values, and combine them with the original values and attention weights to form the final output. Extensive experiments on four datasets for different tasks show that our approach can consistently improve the performance of many attention-based models by incorporating query-value interactions.

研究动机与目标

• 为解决现有注意力机制忽略查询与值之间固有关系的局限性。
• 通过显式建模查询与值之间的交互，以学习查询感知的值，从而改进基于注意力的模型。
• 通过可学习的门控机制将原始值与查询感知的值相结合，以提升输出表征的准确性。
• 在多种架构和自然语言处理任务中验证查询-值交互的有效性。

提出的方法

• 提出查询-值交互函数 $ g(\mathbf{Q}, \mathbf{V}) $，通过可学习的权重矩阵对查询与值向量进行逐元素交互计算。
• 引入门控机制，将原始值 $ \mathbf{V} $ 与查询感知值 $ g(\mathbf{Q}, \mathbf{V}) $ 结合，学习各成分的相对重要性。
• 将标准注意力机制 $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K})\mathbf{V} $ 修改为 $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K}) \cdot \text{gating}(\mathbf{V}, g(\mathbf{Q}, \mathbf{V})) $，其中注意力权重由查询-键交互生成。
• 采用点积注意力并结合缩放Softmax作为基础函数 $ f(\mathbf{Q}, \mathbf{K}) $，而 $ g(\mathbf{Q}, \mathbf{V}) $ 通过线性变换与逐元素乘法实现。
• 将QVI机制应用于多种模型，包括CNN、LSTM、HAN和Transformer，在多个自然语言处理任务中进行验证。

实验结果

研究问题

• RQ1 建模查询-值交互是否能提升基于注意力的自然语言处理任务中的模型性能？
• RQ2 与标准注意力机制相比，引入查询感知值如何影响表征学习？
• RQ3 在最终输出中，原始值与查询-值交互组件的相对贡献如何？
• RQ4 QVI机制是否在不同架构和任务中具有泛化能力？

主要发现

• QVI机制在四个基准数据集（AG News、Amazon、SIGHAN Bakeoff-3、Bakeoff-4）上均实现了稳定的性能提升。
• 在AG News数据集上，Transformer-QVI达到93.40的F1分数，优于标准Transformer（93.37 F1）。
• 在Amazon数据集上，Transformer-QVI达到65.82的F1分数，优于标准Transformer（65.82 F1），且HAN-QVI的F1分数从84.42提升至84.75。
• 在SIGHAN Bakeoff-4数据集上，CNN-Transformer-QVI-CRF达到87.70的F1分数，优于基线模型CNN-Transformer-CRF（87.24 F1）。
• 消融实验表明，仅使用查询-值交互的性能低于将交互结果与原始值结合的方案，且门控机制能进一步提升性能。
• QVI机制在多种架构（包括CNN、LSTM、HAN和Transformer）中均表现有效，表明其具有广泛的适用性。