[论文解读] Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering

Ameya Godbole, Dilip Kavarthapu+9 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 30被引用 22

一句话总结

本文提出了一种以实体为中心的多步信息检索框架，用于多跳问答任务，利用上下文化的 BERT 嵌入将初始检索到的文本片段中的实体链接到相关支持证据。通过利用实体提及引导检索跳跃，该方法在不微调问答模型的情况下，使 HotpotQA 上的 F1 分数提升了 10.59 分，显著优于基线的检索与重排序方法。

ABSTRACT

Multi-hop question answering (QA) requires an information retrieval (IR) system that can find \emph{multiple} supporting evidence needed to answer the question, making the retrieval process very challenging. This paper introduces an IR technique that uses information of entities present in the initially retrieved evidence to learn to `\emph{hop}' to other relevant evidence. In a setting, with more than extbf{5 million} Wikipedia paragraphs, our approach leads to significant boost in retrieval performance. The retrieved evidence also increased the performance of an existing QA model (without any training) on the \hotpot benchmark by extbf{10.59} F1.

研究动机与目标

• 解决多跳问题中问题与答案片段之间词汇重叠度低时，检索多个支持证据片段的挑战。
• 通过引入基于实体的推理和多跳证据链，提升开放域问答中的检索性能。
• 开发一种检索器，能够基于初始结果中的实体提及动态“跳跃”到新证据，而非依赖问题重述。
• 实现对其他多跳数据集（如 Wikihop）的零样本迁移，使用在 HotpotQA 上预训练的模型。
• 证明检索质量是多跳问答中的关键瓶颈，且引入实体感知的重排序可显著提升下游性能。

提出的方法

• 使用 BM25 检索器为给定问题检索初始的支持证据片段集合。
• 利用预训练的实体标注器识别初始片段中的实体提及。
• 通过自定义别名表将实体提及映射到描述它们的维基百科段落，避免测试阶段的数据泄露。
• 采用基于 BERT 的重排序器，使用上下文化的表示编码问题和候选证据片段（包括描述实体的段落）。
• 通过联合建模初始片段和实体描述段落，对潜在的检索链进行评分，支持多跳证据选择。
• 支持从初始片段到自身的自环，以支持单跳问题，使框架具备端到端的适应性。

实验结果

研究问题

• RQ1 以实体为中心的检索是否能通过基于共享实体从一个证据片段‘跳跃’到另一个，从而提升多跳问答性能？
• RQ2 使用 BERT 提取的上下文化实体表示是否能比传统的查询重述或词袋方法带来更好的证据检索效果？
• RQ3 在 HotpotQA 上训练的模型是否能泛化到另一个多跳数据集（如 Wikihop）的零样本检索任务？
• RQ4 实体链接与多跳证据链在多大程度上减少了简单与困难多跳问题之间的性能差距？
• RQ5 当使用固定的问答阅读器模型时，检索质量在整体问答性能中起到了多大程度的贡献？

主要发现

• 在不微调阅读器模型的前提下，使用该方法检索到的片段，使 HotpotQA 隐私测试集上的 F1 分数绝对提升了 10.59 分。
• 在 Wikihop 数据集的零样本设置下，该模型优于 BM25 和一项最先进的 BERT 重排序器（Nogueira 和 Cho, 2019），在 top-5 检索中达到 41% 的准确率。
• 在 HotpotQA 的困难子集上，检索性能的 F1 分数从 25.9% 提升至 43.2%，表明在复杂多跳问题上取得了显著提升。
• 以实体为中心的方法通过有效利用桥接实体引导检索，显著降低了问题与答案片段之间对词汇重叠的依赖。
• 该方法展现出强大的泛化能力，在 Wikihop 上实现了无需在该数据集上微调的最先进零样本性能。
• 消融实验确认，实体链接和多跳重排序均为关键组件，移除任一均会导致性能显著下降。