[论文解读] An Attention Mechanism for Answer Selection Using a Combined Global and Local View

Yoram Bachrach, Andrej Žukov-Gregorič+5 more|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 34被引用 6

一句话总结

本文提出了一种用于神经答案选择的新型全局-局部注意力机制，将双向LSTM的局部注意力与整个答案的独立全局嵌入相结合，在InsuranceQA数据集上提升了性能。该模型在P@1指标上达到70.1%的最先进结果，通过融合候选答案的细粒度表示与整体表示，实现了性能提升。

ABSTRACT

We propose a new attention mechanism for neural based question answering, which depends on varying granularities of the input. Previous work focused on augmenting recurrent neural networks with simple attention mechanisms which are a function of the similarity between a question embedding and an answer embeddings across time. We extend this by making the attention mechanism dependent on a global embedding of the answer attained using a separate network. We evaluate our system on InsuranceQA, a large question answering dataset. Our model outperforms current state-of-the-art results on InsuranceQA. Further, we visualize which sections of text our attention mechanism focuses on, and explore its performance across different parameter settings.

研究动机与目标

• 通过整合候选答案的局部与全局表示，提升神经答案选择性能。
• 解决先前注意力机制仅关注问题与答案之间词级别相似性的局限性。
• 评估将全局嵌入与局部注意力结合是否能提升长而复杂答案的答案选择准确率。
• 分析注意力机制的可解释性及其对模型大小与架构的敏感性。

提出的方法

• 模型使用双向LSTM对问题和候选答案进行编码，生成每个时间步的局部隐藏状态。
• 一个独立的前馈网络计算整个候选答案的全局嵌入，以捕捉整体语义内容。
• 通过归一化局部LSTM隐藏状态与全局嵌入，然后将二者拼接，再计算最终的注意力得分。
• 最终上下文向量是答案隐藏状态的加权和，其中权重由全局-局部注意力机制决定。
• 模型使用交叉熵损失进行训练，并采用早停法与Dropout以防止过拟合。
• 性能通过InsuranceQA基准测试集上的P@1与平均倒数排名（MRR）进行评估。

实验结果

研究问题

• RQ1 将整个答案的全局嵌入与局部注意力结合，能否提升答案选择性能？
• RQ2 所提出的全局-局部注意力机制在准确率与可解释性方面，相较于标准的仅局部注意力机制表现如何？
• RQ3 模型大小对性能有何影响？在较小架构中，注意力机制是否仍具有效性？
• RQ4 注意力权重在答案文本中的分布如何？是否与人工标注的相关片段对齐？

主要发现

• 所提出的全局-局部注意力机制在InsuranceQA测试集上实现了70.1%的P@1得分，优于此前最先进方法（69.0%）。
• 即使在相对较小的模型（隐藏层大小h=141）下，系统仍表现出强劲性能，表明其高效性与鲁棒性。
• TF-LSTM拼接基线（缺乏注意力机制，但使用TF特征与LSTM状态）仅取得62.1%的P@1得分，表明注意力机制对性能至关重要。
• 性能随模型规模增大而提升，但增益迅速减小，表明在达到一定容量后收益递减。
• 定性分析表明，注意力机制能有效聚焦于答案中的相关片段，如触发动作的短语“you can freeze your account”。
• 模型表明，将全局上下文与局部注意力结合，能比仅使用局部注意力更准确地对齐问题的意图。