[论文解读] Attention-based Pairwise Multi-Perspective Convolutional Neural Network for Answer Selection in Question Answering

Jamshid Mozafari, Mohammad Ali Nematbakhsh+1 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling被引用 4

一句话总结

本文提出了一种基于注意力机制的成对多视角卷积神经网络，用于开放域问答中的答案选择，通过注意力机制和宽卷积捕捉问题与答案之间的上下文敏感交互，增强对疑问词的关注。该模型在TrecQA Raw数据集上达到最先进性能，MAP提升1.4%，MRR提升1.1%，且无需外部句法解析器或工具。

ABSTRACT

Over the past few years, question answering and information retrieval systems have become widely used. These systems attempt to find the answer of the asked questions from raw text sources. A component of these systems is Answer Selection which selects the most relevant from candidate answers. Syntactic similarities were mostly used to compute the similarity, but in recent works, deep neural networks have been used, making a significant improvement in this field. In this research, a model is proposed to select the most relevant answers to the factoid question from the candidate answers. The proposed model ranks the candidate answers in terms of semantic and syntactic similarity to the question, using convolutional neural networks. In this research, Attention mechanism and Sparse feature vector use the context-sensitive interactions between questions and answer sentence. Wide convolution increases the importance of the interrogative word. Pairwise ranking is used to learn differentiable representations to distinguish positive and negative answers. Our model indicates strong performance on the TrecQA Raw beating previous state-of-the-art systems by 1.4% in MAP and 1.1% in MRR while using the benefits of no additional syntactic parsers and external tools. The results show that using context-sensitive interactions between question and answer sentences can help to find the correct answer more accurately.

研究动机与目标

• 通过捕捉问题与候选答案之间的深层语义和句法相似性，提升开放域问答中的答案选择性能。
• 通过利用深度神经网络进行更好的表征学习，克服传统句法相似性方法的局限性。
• 通过设计自包含的神经架构，消除对外部工具（如句法解析器）的依赖。
• 通过上下文敏感的注意力机制和多视角卷积交互，提升模型性能。
• 仅使用问题-答案对且不依赖额外语言资源，在TrecQA Raw基准上实现最先进结果。

提出的方法

• 该模型采用成对排序框架，学习可微表示以区分正样本（正确答案）与负样本（错误答案）。
• 应用多视角卷积网络，在多个抽象层次上捕捉问题与答案嵌入之间的多样化交互。
• 集成注意力机制，动态加权问题与答案中的重要词汇，特别是疑问词，增强上下文敏感对齐。
• 使用宽卷积扩展感受野，提升模型对关键术语（如'who'、'what'、'when'等）的敏感度。
• 引入稀疏特征向量以保留显著的语言模式，提升泛化能力。
• 该架构端到端可训练，无需依赖外部工具（如依存解析器或词性标注器）进行预处理。

实验结果

研究问题

• RQ1 基于注意力机制的多视角卷积网络是否能在不依赖外部语言工具的情况下提升答案选择性能？
• RQ2 上下文敏感的注意力机制在增强问题与候选答案对齐方面效果如何？
• RQ3 宽卷积和成对排序在捕捉答案选择中的语义与句法相似性方面贡献有多大？
• RQ4 所提模型是否在TrecQA Raw等标准基准上超越现有最先进系统？
• RQ5 自包含的神经架构是否能在保持效率的同时实现更优性能，并减少对外部NLP组件的依赖？

主要发现

• 所提模型在TrecQA Raw基准上相较先前最先进方法，平均平均精度（MAP）提升1.4%。
• 模型在平均倒数排名（MRR）上提升1.1%，表明对正确答案的排序质量更优。
• 该模型在不使用任何外部工具（如句法解析器或词性标注器）的情况下，优于现有方法。
• 注意力机制的集成显著提升了模型聚焦关键疑问词和相关内容的能力。
• 宽卷积增强了模型对关键术语的敏感度，有助于提升事实型问答的性能。
• 消融实验确认，注意力机制与成对排序均为实现最优性能的关键组件。