[论文解读] KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering

Donghan Yu, Chenguang Zhu+7 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling被引用 26

一句话总结

KG-FiD 通过使用知识图谱和两阶段图神经网络重排序来筛选段落，在约 FiD 的 40% 计算量下达到与 FiD 相近或更好的 QA 准确率。

ABSTRACT

Current Open-Domain Question Answering (ODQA) model paradigm often contains a retrieving module and a reading module. Given an input question, the reading module predicts the answer from the relevant passages which are retrieved by the retriever. The recent proposed Fusion-in-Decoder (FiD), which is built on top of the pretrained generative model T5, achieves the state-of-the-art performance in the reading module. Although being effective, it remains constrained by inefficient attention on all retrieved passages which contain a lot of noise. In this work, we propose a novel method KG-FiD, which filters noisy passages by leveraging the structural relationship among the retrieved passages with a knowledge graph. We initiate the passage node embedding from the FiD encoder and then use graph neural network (GNN) to update the representation for reranking. To improve the efficiency, we build the GNN on top of the intermediate layer output of the FiD encoder and only pass a few top reranked passages into the higher layers of encoder and decoder for answer generation. We also apply the proposed GNN based reranking method to enhance the passage retrieval results in the retrieving module. Extensive experiments on common ODQA benchmark datasets (Natural Question and TriviaQA) demonstrate that KG-FiD can improve vanilla FiD by up to 1.5% on answer exact match score and achieve comparable performance with FiD with only 40% of computation cost.

研究动机与目标

• 通过利用检索段落之间的结构关系来提升开放域问答。
• 利用外部知识图谱来建模段落之间的连接并为重排序提供信息。
• 在不牺牲问答性能的前提下降低 FiD 的计算成本。
• 为 ODQA 流水线的阅读模块实现更高效的段落选择。

提出的方法

• 通过将段落映射到与知识图谱对齐的实体并连接实体在知识图谱中相连的段落来构建段落图。
• 阶段1 重排序：使用基于段落图的GNN，在初始节点嵌入来自DPR的基础上对大量检索段落进行重排序。
• 阶段2 重排序与答案生成：使用阅读器编码器派生的嵌入对较小集合的段落进行联合重排序，并使用 FiD 阅读器执行答案生成。
• 在阶段2中使用中间编码器表示，以仅通过剩余的编码器层处理前 N2 个段落来降低计算。
• 将重排序阶段与答案生成损失联合训练，以在检索质量和答案准确性之间取得平衡。
• 通过在 NQ 和 TriviaQA 上量化 FLOPs 与延迟相对于 FiD，展示效率提升。

实验结果

研究问题

• RQ1 知识图谱如何用于捕捉开放域问答中检索段落之间的结构关系？
• RQ2 图神经网络能否有效地对段落进行重排序、在降低计算的同时提升答案准确性？
• RQ3 在阶段2 重排序中使用中间编码器表示是否能在更低成本下维持问答性能？
• RQ4 与 FiD 相比，KG-FiD 在段落数量、编码器层数和整体效率之间的权衡是什么？

主要发现

模型	#params	NQ EM	TriviaQA EM
T5	11B	36.6	-
GPT-3 (few-shot)	175B	29.9	-
RIDER	626M	48.3	-
RECONSIDER	670M	45.5	61.7
Graph-Retriever	110M	34.7	55.8
Path-Retriever	445M	31.7	-
KAQA	110M	-	66.6
UniK-QA ⋆	990M	54.0 ⋆	64.1 ⋆
REALM	330M	40.4	-
RAG	626M	44.5	56.1
Joint Top-K	440M	49.2	64.8
FiD (base)	440M	48.2	65.0
FiD (large)	990M	51.4	67.6
KG-FiD (base)	443M	49.6	66.7
KG-FiD (large)	994M	53.4	69.8

• KG-FiD 在 Natural Questions 和 TriviaQA 上达到与 FiD 相当或更高的精确匹配分数。
• 在大模型设置下，基于 KG 的两阶段重排序将计算成本降至 FiD 的约 38-40%，同时保持或提升性能。
• 阶段1 重排序在使用 DPR 嵌入作为初始节点特征时提高了黄金段落召回率。
• 阶段2 重排序使用阅读器派生的嵌入，带来额外增益，组合起来达到先进或有竞争力的结果。
• 通过 L1（阶段2 使用的中间层）和 N1/N2（阅读器中的段落数）设置，效率提升具有可调性，能够实现有利的准确性-速度权衡。
• 消融研究表明阶段1和阶段2重排序均对性能改进有贡献。