[论文解读] Answering Science Exam Questions Using Query Rewriting with Background Knowledge

Ryan Musa, Xiaoyan Wang+7 more|arXiv (Cornell University)|Sep 15, 2018

Topic Modeling参考文献 47被引用 11

一句话总结

本文提出了一种用于科学考试问题的问答系统，通过结合ConceptNet背景知识增强的查询重写技术，提升支持证据的检索效果。通过将重写后的查询检索与在SciTail上训练的文本蕴涵模型相结合，该系统在ARC Challenge数据集上实现了接近最先进水平的性能，尽管仅通过识别原始问题中的关键术语进行训练，仍优于多个强基线模型。

ABSTRACT

Open-domain question answering (QA) is an important problem in AI and NLP that is emerging as a bellwether for progress on the generalizability of AI methods and techniques. Much of the progress in open-domain QA systems has been realized through advances in information retrieval methods and corpus construction. In this paper, we focus on the recently introduced ARC Challenge dataset, which contains 2,590 multiple choice questions authored for grade-school science exams. These questions are selected to be the most challenging for current QA systems, and current state of the art performance is only slightly better than random chance. We present a system that rewrites a given question into queries that are used to retrieve supporting text from a large corpus of science-related text. Our rewriter is able to incorporate background knowledge from ConceptNet and -- in tandem with a generic textual entailment system trained on SciTail that identifies support in the retrieved results -- outperforms several strong baselines on the end-to-end QA task despite only being trained to identify essential terms in the original source question. We use a generalizable decision methodology over the retrieved evidence and answer candidates to select the best answer. By combining query rewriting, background knowledge, and textual entailment our system is able to outperform several strong baselines on the ARC dataset.

研究动机与目标

• 解决难以回答的、多句科学考试问题，这些问题是标准信息检索和问答方法所无法应对的挑战。
• 通过利用ConceptNet中的背景知识对问题进行重写，提升开放域问答中的检索质量。
• 开发一种稳健的决策策略，整合来自多个重写查询和答案候选的证据。
• 评估在ARC Challenge数据集上，查询重写与蕴涵式证据选择的有效性。
• 揭示当前基于检索的系统局限性，以及对小型验证集过拟合的风险。

提出的方法

• 系统使用一个结合了ConceptNet中概念和关系的重写器，对原始问题生成多个查询重写版本。
• 每个重写后的查询使用Elasticsearch从大规模科学语料库中检索证据。
• 使用在SciTail数据集上训练的文本蕴涵模型，判断检索到的证据是否支持每个答案选项。
• 通过决策规则聚合来自多个查询和答案候选的证据，采用如每查询取前2名或每查询取前30名等策略。
• 重写器仅训练用于识别原始问题中的关键术语，而非生成完整同义句。
• 通过整合多个查询的证据，提升答案选择的置信度，避免依赖单一最佳结果。

实验结果

研究问题

• RQ1 使用ConceptNet背景知识进行查询重写，能否显著提升科学问答中的证据检索效果？
• RQ2 结合多个查询重写版本，对ARC Challenge数据集上的答案准确率有何影响？
• RQ3 在SciTail上训练的通用文本蕴涵模型，能否有效识别科学考试问题的支持证据？
• RQ4 不同决策规则（如Top-2与Top-30）对测试集最终性能有何影响？
• RQ5 性能在多大程度上对小型ARC验证集的过拟合敏感？

主要发现

• 该系统在ARC Challenge测试集上优于多个强基线模型，使用配对t检验在99.9%置信水平下超越了AI2规则。
• Top-2决策规则（与原始AI2规则一致）在多种配置下始终优于非拆分的AI2规则。
• 在测试集上，仅使用ConceptNet嵌入的简单查询重写方法表现劣于基线方法，表明可能存在分布偏移或过拟合风险。
• 系统在验证集（36.37%）到测试集（33.20%）之间出现显著性能下降，表明尽管可学习参数极少，仍对验证分区存在强烈过拟合。
• 结果证实了先前发现：查询重写可极大提升检索质量，尤其当与蕴涵模型结合时效果更显著。
• 本研究强调了过度依赖最高检索结果的风险，以及跨多个查询聚合证据的重要性。