[论文解读] Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering

Sewon Min, Danqi Chen+2 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 40被引用 84

一句话总结

本文提出一个知识引导的开放域问答系统，通过检索并阅读一个段落图谱，使用图感知阅读器在相关段落之间融合信息，提升覆盖率和准确性，相对于仅文本基线。

ABSTRACT

We introduce an approach for open-domain question answering (QA) that retrieves and reads a passage graph, where vertices are passages of text and edges represent relationships that are derived from an external knowledge base or co-occurrence in the same article. Our goals are to boost coverage by using knowledge-guided retrieval to find more relevant passages than text-matching methods, and to improve accuracy by allowing for better knowledge-guided fusion of information across related passages. Our graph retrieval method expands a set of seed keyword-retrieved passages by traversing the graph structure of the knowledge base. Our reader extends a BERT-based architecture and updates passage representations by propagating information from related passages and their relations, instead of reading each passage in isolation. Experiments on three open-domain QA datasets, WebQuestions, Natural Questions and TriviaQA, show improved performance over non-graph baselines by 2-11% absolute. Our approach also matches or exceeds the state-of-the-art in every case, without using an expensive end-to-end training regime.

研究动机与目标

• 通过利用知识库引导的检索来发现超出文本匹配的相关段落，从而提高开放域问答覆盖率。
• 通过学习跨段落在相关段落图上的融合来提升答案准确性。
• 将基于图的检索组件与图感知阅读器集成，以综合段落间的信息。

提出的方法

• 通过扩展种子段落来构建段落图，使用 Wikidata 关系和 Wikipedia 中的共现；种子通过实体链接和 TF-IDF 检索。
• 使用 GraphReader，一个基于 BERT 的阅读器，生成初始段落表示，并通过沿图边传播信息的 M 个融合层来更新它们。
• 用可学习嵌入来表示关系，并使用关系感知或二元融合方案融合相邻段落表示。
• 通过对段落表示的学习 softmax 选择证据段落，然后在所选段落内预测答案片段。

实验结果

研究问题

• RQ1 知识引导的段落图检索是否在开放域问答中相较于文本匹配基线提升证据覆盖和答案准确性？
• RQ2 在相关段落之间传播信息的图感知阅读器是否能优于对段落独立处理的阅读器？
• RQ3 图中关系类型对整体 QA 性能的贡献为何？
• RQ4 与标准开放域 QA 数据集上的最先进管道模型和端到端模型相比，所提出方法表现如何？
• RQ5 实现基于图的检索和阅读的提升是否需要端到端训练？

主要发现

• GraphRetriever 相比文本匹配在 WebQuestions、Natural Questions、TriviaQA 上绝对提升 2–11%。
• GraphReader 相较 ParReader 基线稳定地提升绝对 1–5%。
• 使用基于 Wikidata 的跨图关系相较二元（关系无关）融合提供温和提升。
• 最佳的 GraphRetriever + GraphReader 组合在所评估的数据集上达到或超过最先进的管道模型。
• 图基方法在不需要昂贵的端到端训练 regime 下显著提升。