[论文解读] Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval

W. Xiong, Xiang Lorraine Li+9 more|arXiv (Cornell University)|Sep 27, 2020

Topic Modeling参考文献 48被引用 18

一句话总结

本文提出多跳密集检索（MDR），一种简单且高效的框架，通过迭代密集检索与查询重构来回答复杂开放域问题，无需依赖超链接或实体标记等语料库特定结构。该方法在HotpotQA和多证据FEVER上达到最先进性能，在HotpotQA上匹配最佳公开准确率的同时，推理速度提升10倍。

ABSTRACT

We propose a simple and efficient multi-hop dense retrieval approach for answering complex open-domain questions, which achieves state-of-the-art performance on two multi-hop datasets, HotpotQA and multi-evidence FEVER. Contrary to previous work, our method does not require access to any corpus-specific information, such as inter-document hyperlinks or human-annotated entity markers, and can be applied to any unstructured text corpus. Our system also yields a much better efficiency-accuracy trade-off, matching the best published accuracy on HotpotQA while being 10 times faster at inference time.

研究动机与目标

• 解决需要从多份文档聚合证据来回答复杂多跳开放域问题的挑战。
• 克服现有方法依赖超链接或实体注释等语料库特定结构的局限性。
• 通过利用密集向量表示和迭代检索，改进多跳检索中的效率-准确率权衡。
• 实现在大规模非结构化文本语料库上可扩展、通用的多跳问答，而无需特殊数据或训练启发式方法。

提出的方法

• 该方法采用递归框架，每轮检索均基于原始问题和先前检索到的段落生成新的查询表示。
• 在每一轮中，系统对语料库的密集表示执行最大内积搜索（MIPS），以检索最相关的段落。
• 通过将原始问题与先前检索到的段落文本拼接，并使用预训练Transformer模型编码，更新查询表示。
• 训练过程中采用批次内负样本和记忆库负样本采样，以提升密集表示的质量。
• 检索过程完全可微分且端到端可训练，支持对多跳推理链的有效优化。
• 该方法无需外部知识图谱、实体链接或超链接结构，适用于任何非结构化语料库。

实验结果

研究问题

• RQ1 能否在不依赖超链接或实体标记等语料库特定结构的前提下，有效将密集检索扩展至多跳问答？
• RQ2 如何设计迭代密集检索，以在显著提升推理效率的同时保持高准确率？
• RQ3 仅通过简单查询重构策略——将问题与检索到的段落拼接——是否能实现在多跳问答中的最先进性能？
• RQ4 所提出方法在不同开放域语料库和多跳基准上的泛化能力如何？

主要发现

• 所提出的MDR方法在HotpotQA基准上达到最先进性能，推理速度提升10倍的同时，匹配最佳公开F1分数79.6%。
• 在多证据FEVER数据集上，MDR显著优于先前方法，展现出在不同多跳问答设置下的强大泛化能力。
• 即使未使用任何语料库特定信息（如超链接或实体注释），该方法在准确率上仍优于以往基于链接的检索方法。
• 使用强预训练编码器并结合批次内与记忆库负样本采样，生成了高质量的密集表示，能有效捕捉多跳推理路径。
• 通过拼接实现的迭代检索与查询重构，比以往工作中使用的复杂注意力机制查询优化方法更为有效。
• 该框架效率极高，相比以往最先进模型，对大型语言模型的调用次数显著减少，后者通常每条预测需调用数百次。