[论文解读] HopRetriever: Retrieve Hops over Wikipedia to Answer Complex Questions

Shaobo Li, Xiaoguang Li+6 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling被引用 5

一句话总结

HopRetriever 提出了一种新颖的检索框架，通过结合结构化的超链接关系与非结构化的文档内容，在 Wikipedia 中识别多跳证据。它使用提及嵌入（mention embeddings）编码实体关系，使用文档嵌入表示事实内容，在 HotpotQA 上取得了 86.89% 的 recall@1，显著优于先前方法，并提供了可解释的证据选择过程。

ABSTRACT

Collecting supporting evidence from large corpora of text (e.g., Wikipedia) is of great challenge for open-domain Question Answering (QA). Especially, for multi-hop open-domain QA, scattered evidence pieces are required to be gathered together to support the answer extraction. In this paper, we propose a new retrieval target, hop, to collect the hidden reasoning evidence from Wikipedia for complex question answering. Specifically, the hop in this paper is defined as the combination of a hyperlink and the corresponding outbound link document. The hyperlink is encoded as the mention embedding which models the structured knowledge of how the outbound link entity is mentioned in the textual context, and the corresponding outbound link document is encoded as the document embedding representing the unstructured knowledge within it. Accordingly, we build HopRetriever which retrieves hops over Wikipedia to answer complex questions. Experiments on the HotpotQA dataset demonstrate that HopRetriever outperforms previously published evidence retrieval methods by large margins. Moreover, our approach also yields quantifiable interpretations of the evidence collection process.

研究动机与目标

• 为解决在复杂开放域问答任务中从 Wikipedia 中收集分散的多跳证据的挑战。
• 整合结构化知识（通过超链接隐含的实体关系）与非结构化知识（实体介绍页中的事实内容），以提升证据检索效果。
• 开发一种检索机制，根据问题上下文自适应地权衡结构化与非结构化知识的贡献。
• 通过分析提及嵌入与文档嵌入在跳跃选择中的相对重要性，提供可解释的证据路径。

提出的方法

• 将‘跳跃’定义为一个超链接（提及）及其对应的出站链接文档的组合，分别代表关系性证据与事实性证据。
• 使用 BERT 将超链接周围的提及上下文编码为提及嵌入，以捕捉隐含的实体关系。
• 使用 BERT 将问题条件下的出站文档全文编码为文档嵌入，以表示非结构化的事实内容。
• 通过可学习权重融合提及嵌入与文档嵌入，生成统一的跳跃表示用于检索。
• 引入辅助的支持句子预测任务，通过聚焦于相关句子级别的证据来提升检索性能。
• 采用带有可学习参数的加权融合机制，在检索过程中平衡结构化与非结构化知识的影响。

实验结果

研究问题

• RQ1 结合结构化的超链接关系与非结构化的文档内容，能否提升 Wikipedia 中多跳证据检索的效果？
• RQ2 提及嵌入在不依赖显式知识图谱的情况下，能否有效捕捉隐含的实体关系？
• RQ3 与仅使用单一模态的方法相比，结构化与非结构化知识的融合在多大程度上提升了检索性能？
• RQ4 模型的注意力权重是否能提供可解释的洞察，揭示在每一步跳跃选择中，是关系知识还是事实知识起到了主导作用？

主要发现

• HopRetriever 在 HotpotQA 测试集上实现了 86.89% 的 recall@1，显著优于先前发布的证据检索方法。
• 移除结构化知识（通过提及嵌入）会使 recall@1 降低至 76.35%，证明了实体关系在多跳推理中的关键作用。
• 模型的注意力权重会根据上下文动态地在提及嵌入与文档嵌入之间切换，在探针任务中对正确与干扰跳跃的区分准确率达 96.42%。
• 消融实验表明，加权融合机制相比等权重融合能提升性能，且辅助句子预测任务对检索无负面影响。
• 在关系存在歧义的情况下（例如，多个实体具有相同关系），模型更依赖文档嵌入来选择正确跳跃，如在 'World War I' 与 'World War II' 的案例中所示。
• 该方法通过可视化每种嵌入类型的贡献，提供了可解释的证据路径，使分析每一步跳跃选择的驱动知识来源成为可能。