[论文解读] Grape: Knowledge Graph Enhanced Passage Reader for Open-domain Question Answering

Mingxuan Ju, Wenhao Yu+3 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用 6

一句话总结

GraPe 提出了一种知识图谱增强的开放域问答文档阅读模型，通过从问题-文档实体对构建局部二部图，并利用图神经网络融合来自 Wikidata 的关系知识与阅读模型的上下文表征。该方法在最先进阅读模型的基础上将精确匹配分数最高提升 2.2 分，尤其在事实相关样本上提升显著，同时推理开销几乎可忽略。

ABSTRACT

A common thread of open-domain question answering (QA) models employs a retriever-reader pipeline that first retrieves a handful of relevant passages from Wikipedia and then peruses the passages to produce an answer. However, even state-of-the-art readers fail to capture the complex relationships between entities appearing in questions and retrieved passages, leading to answers that contradict the facts. In light of this, we propose a novel knowledge Graph enhanced passage reader, namely Grape, to improve the reader performance for open-domain QA. Specifically, for each pair of question and retrieved passage, we first construct a localized bipartite graph, attributed to entity embeddings extracted from the intermediate layer of the reader model. Then, a graph neural network learns relational knowledge while fusing graph and contextual representations into the hidden states of the reader model. Experiments on three open-domain QA benchmarks show Grape can improve the state-of-the-art performance by up to 2.2 exact match score with a negligible overhead increase, with the same retriever and retrieved passages. Our code is publicly available at https://github.com/jumxglhf/GRAPE.

研究动机与目标

• 为解决最先进阅读模型在捕捉复杂实体关系方面失败，导致事实性错误答案的问题。
• 通过整合 Wikidata 等知识图谱（KG）中的结构化事实知识，提升开放域问答中阅读模型的性能。
• 设计一种局部化、高效的图构建方法，避免在大规模知识图谱上进行推理的不可行性。
• 证明知识图谱中的关系知识可显著提升答案准确率，尤其在基于事实的问题上。
• 验证性能提升源于事实性关系知识，而非一般表征学习。

提出的方法

• 对于每个问题-文档对，GraPe 构建一个局部二部图，其中节点为问题和文档中的实体，边表示来自 Wikidata 的事实关系。
• 实体表征通过阅读模型中间层的隐藏状态初始化，以保留上下文信息。
• 一种关系感知的图神经网络（GNN）沿边聚合消息，学习融合上下文与关系事实的增强节点表征。
• 更新后的节点表征被融合回阅读模型的隐藏状态，以优化答案预测。
• 该方法与固定检索器及检索到的文档端到端联合应用，确保与最先进阅读模型的公平比较。
• 图构建仅关注与问题和答案相关的实体，过滤掉外围或无关的关系。

实验结果

研究问题

• RQ1 将知识图谱中的结构化事实知识整合到开放域问答阅读模型中，能否提升其性能？
• RQ2 使用来自 Wikidata 的局部化、实体特定图，是否比仅依赖文本上下文能带来更准确的答案预测？
• RQ3 GraPe 性能提升中有多少可归因于事实性关系知识，而非一般表征学习？
• RQ4 GraPe 的性能提升是否随检索文档数量增加而扩大？能否在较少文档下实现相当性能？
• RQ5 GraPe 的收益是否在知识图谱中事实关系直接支持答案的问题上最为显著？

主要发现

• GraPe 在三个开放域问答基准（NQ、TriviaQA 和 WebQ）上，将最先进模型 FiD 的精确匹配（EM）分数最高提升 2.2 分。
• 在 Wikidata 中存在支持性事实三元组的子集问题上，GraPe 在 WebQ、TriviaQA 和 NQ 上分别实现 1.6、1.2 和 0.5 的 EM 提升，几乎使 FiD 的性能增益翻倍。
• 性能提升在事实相关样本上最为显著，在 WebQ 的事实相关子集上实现 3.7 分的边际提升，验证了该方法有效利用了事实性关系知识。
• 当检索到 25 个或更多文档时，GraPe 仅需一半数量的文档即可达到 FiD 的性能，表明其样本效率更高。
• 案例研究证实，该模型通过利用特定 KG 事实（如“Arges”是“Cyclopes”的成员，或“UK”适用于“Parliament of UK”）纠正了 FiD 的错误。
• 该方法引入的计算开销可忽略不计，因其在局部图上运行并重用现有阅读模型的表征。