[论文解读] Exploring the Effectiveness of Convolutional Neural Networks for Answer Selection in End-to-End Question Answering

Royal Sequiera, Gaurav Baruah+5 more|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 10被引用 16

一句话总结

本文使用 TrecQA 数据集评估了卷积神经网络（CNNs）在端到端问答系统中答案选择的性能。尽管在标准检索指标下，CNN 相较于强大的基线方法（即基于 IDF 加权的词重叠）仅带来微小的性能提升，但人工用户评估确认，经 CNN 增强的重排序能产生可检测到更好的答案，表明在实际应用中具有人类可感知的性能改进。

ABSTRACT

Most work on natural language question answering today focuses on answer selection: given a candidate list of sentences, determine which contains the answer. Although important, answer selection is only one stage in a standard end-to-end question answering pipeline. This paper explores the effectiveness of convolutional neural networks (CNNs) for answer selection in an end-to-end context using the standard TrecQA dataset. We observe that a simple idf-weighted word overlap algorithm forms a very strong baseline, and that despite substantial efforts by the community in applying deep learning to tackle answer selection, the gains are modest at best on this dataset. Furthermore, it is unclear if a CNN is more effective than the baseline in an end-to-end context based on standard retrieval metrics. To further explore this finding, we conducted a manual user evaluation, which confirms that answers from the CNN are detectably better than those from idf-weighted word overlap. This result suggests that users are sensitive to relatively small differences in answer selection quality.

研究动机与目标

• 评估卷积神经网络（CNNs）在端到端问答系统中用于答案选择的有效性。
• 使用标准信息检索指标，将基于 CNN 的重排序与强大的基于 IDF 加权词重叠的基线方法进行比较。
• 评估神经网络带来的改进是否转化为人类可感知的答案质量提升。
• 指出组件级评估的局限性，并倡导在问答研究中采用端到端评估方法。

提出的方法

• 基于 Severyn 和 Moschitti（2015）提出的简化 CNN 模型进行答案选择，使用词嵌入并结合卷积滤波器的池化操作。
• 将 CNN 与初始检索阶段结合，使用 BM25 从 TrecQA 数据集中生成候选句子。
• 将基于 IDF 加权的词重叠作为重排序的强基线方法。
• 使用 CNN 对检索到的 top-k 句子进行重排序，形成基于 IDF 与 CNN 的混合重排序策略。
• 通过两名人工标注员进行盲测、并列式人工评估，比较基于 IDF 重排序和 IDF+CNN 重排序的 top-5 答案。
• 在人工评估数据上使用标准信息检索指标（MAP、MRR、RBP）和统计检验方法（Wilcoxon 符号秩检验与二项检验）评估性能。

实验结果

研究问题

• RQ1 与强大的基于 IDF 加权词重叠的基线相比，CNN 在端到端问答系统中的答案选择效果如何？
• RQ2 基于 CNN 的重排序带来的改进是否能在标准检索指标（如 MAP、MRR 和 RBP）上体现为可测量的提升？
• RQ3 人类用户能否察觉到基于 IDF 加权词重叠与 CNN 增强重排序之间在答案质量上的差异？
• RQ4 组件级评估在多大程度上掩盖了问答系统在真实世界中的实际有效性？

主要发现

• 当使用 h=200 个检索文档时，基于 IDF 加权词重叠的基线方法在 MAP 上达到 0.1261，在 MRR 上达到 0.1901，构成一个非常强的基线。
• CNN 增强的重排序将 MAP 提升至 0.1260，MRR 提升至 0.1900，表明在标准信息检索指标上仅有极小的提升。
• 当 k=5 且 h=200 时，IDF 重排序的 b-pref 得分为 0.1590，IDF+CNN 重排序的 b-pref 得分为 0.1593，表明在标准指标上表现几乎无法区分。
• 两名人工标注员进行的并列式人工评估显示，IDF+CNN 重排序显著优于 IDF 重排序（p < 0.05），该结论在 Wilcoxon 符号秩检验与二项检验中均得到支持。
• 标注者间一致性为中等（Cohen’s κ = 0.4103），表明虽然两位标注员均认为 CNN 方法更优，但在个别答案对上并不总是一致。
• 尽管指标差异微小，但 CNN 模型生成的答案在人工评估中表现出可检测到的更优质量，表明终端用户对微小的质量改进具有敏感性。