[论文解读] Answering Complex Open-domain Questions Through Iterative Query Generation

Peng Qi, Xiaowen Lin+3 more|arXiv (Cornell University)|Oct 15, 2019

Topic Modeling参考文献 26被引用 13

一句话总结

GoldEn Retriever 提出了一种用于开放域多跳问答的迭代式、自然语言查询生成框架，通过现成的检索系统逐步检索支持性证据。该方法在不依赖 BERT 类预训练语言模型的前提下，在 HotpotQA 的 fullwiki 设置上实现了最先进性能，通过类人化的查询实现迭代证据收集，展现出高效率与高可解释性。

ABSTRACT

It is challenging for current one-step retrieve-and-read question answering (QA) systems to answer questions like "Which novel by the author of 'Armada' will be adapted as a feature film by Steven Spielberg?" because the question seldom contains retrievable clues about the missing entity (here, the author). Answering such a question requires multi-hop reasoning where one must gather information about the missing entity (or facts) to proceed with further reasoning. We present GoldEn (Gold Entity) Retriever, which iterates between reading context and retrieving more supporting documents to answer open-domain multi-hop questions. Instead of using opaque and computationally expensive neural retrieval models, GoldEn Retriever generates natural language search queries given the question and available context, and leverages off-the-shelf information retrieval systems to query for missing entities. This allows GoldEn Retriever to scale up efficiently for open-domain multi-hop reasoning while maintaining interpretability. We evaluate GoldEn Retriever on the recently proposed open-domain multi-hop QA dataset, HotpotQA, and demonstrate that it outperforms the best previously published model despite not using pretrained language models such as BERT.

研究动机与目标

• 为解决需要多跳推理的复杂开放域问题的挑战，其中关键实体无法直接从原始问题中检索到。
• 开发一种可扩展且可解释的多跳问答方法，避免依赖昂贵的神经检索模型。
• 通过最小化监督的查询生成，提高对黄金支持文档的召回率。
• 利用通用检索系统实现高效、迭代式的证据收集，而非端到端神经模型。

提出的方法

• GoldEn Retriever 基于原始问题和前序步骤检索到的上下文，迭代生成自然语言查询，以检索新的支持性文档。
• 它利用标准信息检索系统（例如，使用 BM25 的 Elasticsearch）通过生成的查询执行文档检索。
• 在每次检索步骤后，系统使用 BiDAF++ 风格的阅读理解模块从检索到的证据中提取答案。
• 查询生成通过最小化监督信号进行训练，以最大化在检索中对黄金支持文档的召回率。
• 该框架整合了现成的检索组件，以确保在开放域推理中具备可扩展性和可解释性。
• Elasticsearch 配置了标题和文本字段，使用二元短语滑动（bigram shingling）和 ASCII 全形折叠（ASCII folding）以提高对罕见实体的匹配准确性。

实验结果

研究问题

• RQ1 迭代式自然语言查询生成能否提升对复杂开放域问题支持性证据的检索效果？
• RQ2 系统能否在不使用 BERT 等大型预训练语言模型的情况下实现强大的多跳问答性能？
• RQ3 使用现成的检索系统配合生成查询，是否能在高效扩展的同时保持可解释性？
• RQ4 最小化监督的查询生成在提升黄金支持文档召回率方面有多有效？

主要发现

• GoldEn Retriever 在不使用 BERT 或类似预训练语言模型的前提下，超越了 HotpotQA 开放域（fullwiki）设置下此前发表的最佳模型。
• 该系统通过迭代生成自然语言查询，利用现成的检索系统检索缺失实体，从而实现最先进性能。
• 使用迭代查询生成显著提高了对黄金支持文档的检索召回率，即使在最小监督条件下亦然。
• 该框架通过在每一步生成人类可读的查询，保持了高度可解释性，与不透明的神经检索模型形成鲜明对比。
• 使用 BM25 和标题加权的 Elasticsearch 显著提升了对罕见实体（如 'Ernest Cline'）的检索准确性，这些实体在朴素全文搜索中常被遗漏。