[论文解读] Multi-Hop Paragraph Retrieval for Open-Domain Question Answering

Yair Feldman, Ran El‐Yaniv|arXiv (Cornell University)|Jun 15, 2019

Topic Modeling参考文献 30被引用 9

一句话总结

该论文提出 MUPPET，一种新颖的迭代多跳检索方法，用于开放域问答任务。该方法利用问题与段落的联合向量表示，并结合句子级别的编码，以提升证据检索效果。通过预先计算段落表示，实现高效的大规模检索，在 SQuAD-Open（单跳）和 HotpotQA（多跳）基准上均达到当前最优性能，优于先前的 TF-IDF 和神经重排序方法。

ABSTRACT

This paper is concerned with the task of multi-hop open-domain Question Answering (QA). This task is particularly challenging since it requires the simultaneous performance of textual reasoning and efficient searching. We present a method for retrieving multiple supporting paragraphs, nested amidst a large knowledge base, which contain the necessary evidence to answer a given question. Our method iteratively retrieves supporting paragraphs by forming a joint vector representation of both a question and a paragraph. The retrieval is performed by considering contextualized sentence-level representations of the paragraphs in the knowledge source. Our method achieves state-of-the-art performance over two well-known datasets, SQuAD-Open and HotpotQA, which serve as our single- and multi-hop open-domain QA benchmarks, respectively.

研究动机与目标

• 为解决开放域多跳问答任务中的挑战，即答案需要来自多个未在问题中直接关联的段落的证据。
• 通过使用预先计算的段落表示而非对所有候选段落进行联合处理，提升大规模知识库中的检索效率与准确性。
• 探究句子级别表示是否在捕捉推理任务相关证据方面优于段落级别表示。
• 开发一种迭代检索框架，通过串联多个来源的证据，模拟人类推理过程。
• 在无需依赖远距离监督进行多跳推理的前提下，实现在单跳与多跳开放域问答基准上的最先进性能。

提出的方法

• 该方法使用问题与段落的联合向量表示来计算语义相似度，从而实现从大规模知识库中高效检索。
• 段落通过上下文嵌入（如 BERT）以句子级别进行编码，随后聚合为段落级别的表示用于检索。
• 采用迭代检索过程：在初步检索出一组段落后，系统利用检索到的证据来优化问题表示，并进一步检索更多支持性段落。
• 该方法预先计算并存储段落嵌入，以实现快速相似度搜索，避免在推理过程中进行问题-段落联合编码的计算负担。
• 使用句子级别表示可提升检索精度，尤其适用于依赖段落中非核心事实的问题。
• 该方法通过对比损失进行端到端训练，以优化在单跳与多跳问答数据集上的检索性能。

实验结果

研究问题

• RQ1 与单步检索相比，迭代检索框架是否能提升开放域多跳问答任务的性能？
• RQ2 与段落级别表示相比，使用句子级别表示是否能带来更好的复杂推理任务中的证据检索效果？
• RQ3 预先计算的段落嵌入是否能在无需推理时联合编码的前提下，实现在大规模场景下的高效且准确的检索？
• RQ4 该方法在多跳问答基准上与现有的 TF-IDF 和神经重排序基线相比表现如何？
• RQ5 该方法在单跳与多跳问答设置之间的泛化能力如何？

主要发现

• MUPPET 在 SQuAD-Open 和 HotpotQA 上均达到最先进性能，在单跳与多跳设置下均优于现有检索方法。
• 在 SQuAD-Open 上，句子级别编码显著提升了性能，因为该数据集中问题常依赖于段落中非关键的事实，而这些事实在段落级别摘要中未被充分捕捉。
• 在 HotpotQA 上，句子级别编码的提升较小，可能是因为该数据集的设计特点：大多数段落仅与一个问题关联，因此内容更聚焦，信息更接近核心要点。
• 迭代检索机制使模型能够串联多个段落的证据，例如先正确识别出经理（Alex Ferguson），再从第二段上下文中检索出时间范围。
• 预先计算段落表示可实现高效的大规模检索，使该方法可扩展至 Wikipedia 等大规模知识库。
• 该方法对噪声具有鲁棒性，且在多跳场景中表现优于 TF-IDF 和神经重排序基线，尤其在证据分散于多个来源时优势明显。