[论文解读] Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering

Jianmo Ni, Chenguang Zhu+2 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 21被引用 6

一句话总结

该论文提出了一种增强的检索-阅读模型ET-RR，通过学习关注问题中的关键术语来提升开放域多选题问答性能。该模型使用关键术语选择器（ET-Net）识别关键词并重构查询以实现更优的证据检索，同时结合注意力增强的阅读器，以区分关键术语与干扰术语；该模型在ARC数据集上实现了SOTA性能，测试准确率达到36.61%。

ABSTRACT

Open-domain question answering remains a challenging task as it requires models that are capable of understanding questions and answers, collecting useful information, and reasoning over evidence. Previous work typically formulates this task as a reading comprehension or entailment problem given evidence retrieved from search engines. However, existing techniques struggle to retrieve indirectly related evidence when no directly related evidence is provided, especially for complex questions where it is hard to parse precisely what the question asks. In this paper we propose a retriever-reader model that learns to attend on essential terms during the question answering process. We build (1) an essential term selector which first identifies the most important words in a question, then reformulates the query and searches for related evidence; and (2) an enhanced reader that distinguishes between essential terms and distracting words to predict the answer. We evaluate our model on multiple open-domain multiple-choice QA datasets, notably performing at the level of the state-of-the-art on the AI2 Reasoning Challenge (ARC) dataset.

研究动机与目标

• 解决在无直接相关段落存在时，开放域问答中检索间接相关证据的挑战。
• 提升在复杂、自由形式、多选题问答任务中的性能，其中答案无法直接从段落中抽取。
• 通过识别并聚焦于问题和答案选项中的关键术语，提升检索与阅读理解能力。
• 通过开发一种查询重构策略，减少对远程监督的依赖，从而提升复杂推理任务中的证据检索质量。

提出的方法

• 一种关键术语选择器（ET-Net），即循环神经网络，将问题中的每个词分类为关键或非关键，从而仅使用关键词实现查询重构。
• 重构后的查询结合问题中的关键术语与每个答案选项，用于从搜索引擎检索支持性证据。
• 注意力增强的阅读器处理三元组（问题、答案选项、检索到的段落），利用交叉注意力和融合层优化表示。
• 一种选项交互模块显式建模答案选项之间的语义差异与关系，以提升答案预测性能。
• 该模型在端到端可训练框架中整合证据理解与答案选择，注意力机制聚焦于关键内容。
• 检索与阅读流程联合训练，利用多选标签进行监督，以优化答案准确率。

实验结果

研究问题

• RQ1 在复杂、开放域多选题问答中，识别问题中的关键术语是否能改善证据检索？
• RQ2 对关键术语进行注意力建模相比对完整问题使用标准注意力，能否显著提升答案预测性能？
• RQ3 使用关键术语进行查询重构，是否能比直接拼接问题或答案选项获得更优的支持性证据检索效果？
• RQ4 模型性能在多大程度上依赖于关键术语抽取质量，而非检索质量？
• RQ5 当证据间接或稀疏时，注意力增强的阅读器能否有效基于多个段落和答案选项进行推理？

主要发现

• ET-RR模型在ARC测试集上达到36.61%的准确率，优于撰写时（2018年9月）所有排行榜解决方案。
• 关键术语选择器（ET-Net）在不同检索top-k设置下，始终优于基线方法，包括基于TF-IDF的术语选择。
• 在检索10篇段落时性能最佳，ET-RR在验证集上达到38.59%准确率，在测试集上达到36.61%。
• 与TF-IDF基线相比，验证集上性能提升4%，表明神经网络术语选择比启发式方法更有效。
• 错误分析揭示了两种主要失败模式：未能对检索到的证据进行推理，以及未能检索到相关证据，尤其在需要概念性知识的问题上。
• 在测试集上，模型相较于TF-IDF基线仅提升约1.4%，表明在未见数据上泛化关键术语识别仍具挑战。