[论文解读] End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents

Haitian Sun, William W. Cohen+1 more|arXiv (Cornell University)|Jun 1, 2021

Topic Modeling参考文献 17被引用 9

一句话总结

本文提出 DocHopper，一种端到端可微分的多跳检索模型，通过数值结合查询嵌入与检索到的段落/句子表征，迭代地从长文档中检索并提炼证据。该模型在三个长文档上的组合型问答任务中达到最先进性能，且推理速度比先前方法快3–10倍。

ABSTRACT

Answering complex questions from long documents requires aggregating multiple pieces of evidence and then predicting the answers. In this paper, we propose a multi-hop retrieval method, DocHopper, to answer compositional questions over long documents. At each step, DocHopper retrieves a paragraph or sentence embedding from the document, mixes the retrieved result with the query, and updates the query for the next step. In contrast to many other retrieval-based methods (e.g., RAG or REALM) the query is not augmented with a token sequence: instead, it is augmented by numerically combining it with another neural representation. This means that model is end-to-end differentiable. We demonstrate that utilizing document structure in this was can largely improve question-answering and retrieval performance on long documents. We experimented with DocHopper on three different QA tasks that require reading long documents to answer compositional questions: discourse entailment reasoning, factual QA with table and text, and information seeking QA from academic papers. DocHopper outperforms all baseline models and achieves state-of-the-art results on all datasets. Additionally, DocHopper is efficient at inference time, being 3~10 times faster than the baselines.

研究动机与目标

• 为解决需要从长文档中聚合证据来回答复杂组合型问题的挑战。
• 通过在可微分、迭代的检索框架中利用文档结构，提升检索与问答性能。
• 设计一种避免基于标记的查询增强的方法，实现端到端训练与更快的推理速度。
• 在长文档问答基准上超越现有基于检索的模型（如 RAG 和 REALM）的性能。

提出的方法

• DocHopper 通过在长文档中迭代检索段落或句子嵌入，实现多跳检索。
• 在每一步中，将检索到的表征与当前查询嵌入进行数值结合，以更新下一跳的查询。
• 通过可微分的神经操作实现查询更新，避免了标记序列的增强。
• 模型采用端到端训练，使梯度能够通过检索与推理组件双向流动。
• 显式利用文档结构以指导检索并提升证据聚合效果。
• 该方法使用密集向量表征表示查询与文档片段，实现在连续空间中的语义匹配。

实验结果

研究问题

• RQ1 与自回归或基于标记增强的基线方法相比，可微分、端到端的多跳检索框架是否能提升长文档上的组合型问答性能？
• RQ2 通过嵌入混合实现的数值化查询优化，在提升检索与推理性能方面有多有效？
• RQ3 通过迭代检索利用文档结构，在长上下文问答中对证据检索与答案预测的提升程度如何？
• RQ4 该方法是否能在保持高推理效率的同时实现最先进性能？

主要发现

• DocHopper 在三项不同的长文档问答任务上达到最先进性能：话语蕴含推理、结合表格与文本的事实型问答，以及从学术论文中进行信息检索的问答。
• 在所有评估的数据集中，该模型均优于 RAG 和 REALM 等强基线模型。
• 与基线模型相比，DocHopper 展现出 3–10 倍的更快推理速度，实际应用中效率极高。
• 采用可微分的、基于嵌入的查询优化，显著提升了证据聚合与答案准确率。
• 通过迭代检索利用文档结构，显著增强了检索与问答性能。
• 模型的端到端可微性使得检索与推理组件能够实现有效的联合优化。