[论文解读] Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

Haitian Sun, Bhuwan Dhingra+4 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 45被引用 11

一句话总结

本文提出 GRAFT-Net，一种图神经网络，通过构建知识库（KB）事实与实体链接文本的异构图，采用异构消息传递和有向嵌入传播，实现知识库与文本的早期融合，从而提升开放域问答性能。GRAFT-Net 在 KB-文本联合问答设置中达到最先进水平，相比现有方法 F1 最高提升 4.8%，在纯 KB 或纯文本基准上也达到最先进性能。

ABSTRACT

Open Domain Question Answering (QA) is evolving from complex pipelined systems to end-to-end deep neural networks. Specialized neural models have been developed for extracting answers from either text alone or Knowledge Bases (KBs) alone. In this paper we look at a more practical setting, namely QA over the combination of a KB and entity-linked text, which is appropriate when an incomplete KB is available with a large text corpus. Building on recent advances in graph representation learning we propose a novel model, GRAFT-Net, for extracting answers from a question-specific subgraph containing text and KB entities and relations. We construct a suite of benchmark tasks for this problem, varying the difficulty of questions, the amount of training data, and KB completeness. We show that GRAFT-Net is competitive with the state-of-the-art when tested using either KBs or text alone, and vastly outperforms existing methods in the combined setting. Source code is available at https://github.com/OceanskySun/GraftNet .

研究动机与目标

• 为解决当知识库或文本语料库单独使用时因不完整或模糊而不足以应对开放域问答挑战。
• 通过早期融合而非晚期融合，结合文本的高覆盖性与知识库的结构化推理能力，提升答案抽取性能。
• 开发一个统一模型，在纯 KB 或纯文本问答基准上表现具有竞争力，同时在联合设置中表现卓越。
• 构建一个新基准套件，涵盖不同知识库完整度、训练数据规模和问题复杂度，用于评估混合问答系统。

提出的方法

• GRAFT-Net 构建一个异构图，其中节点代表知识库中的实体和文本片段，边代表关系或共现关系。
• 采用异构更新规则：对文本节点使用基于 LSTM 的更新，对知识库实体使用标准 GCN 风格更新，以保留不同类型信息的特性。
• 引入一种受个性化 PageRank 启发的有向传播机制，限制从与问题相关的种子节点出发的嵌入传播，确保推理聚焦。
• 在消息传递过程中，对关系使用查询感知注意力机制，动态加权不同关系的重要性。
• 采用端到端训练，基于答案跨度的交叉熵损失进行优化，预测结果来自子图中最终节点表示。
• 该方法支持 KB 与文本的联合学习，实现在单一统一框架内对异构来源进行证据聚合。

实验结果

研究问题

• RQ1 与晚期融合或单源模型相比，知识库与文本的早期融合是否能提升开放域问答性能？
• RQ2 异构消息传递机制（对文本与知识库节点区别处理）在混合问答任务中的性能影响如何？
• RQ3 从与问题相关的种子节点出发的有向嵌入传播，在复杂推理任务中对答案准确率的提升程度如何？
• RQ4 在 KB-文本联合设置中，模型性能如何随知识库完整度与训练数据规模变化？
• RQ5 单一统一模型是否能在纯 KB 和纯文本问答基准上均实现具有竞争力的性能？

主要发现

• 在 WebQuestionsSP 数据集上，KB 完全度 100% 且文本完整度 100% 的条件下，GRAFT-Net 达到 67.8 的 F1 分数，在联合设置中相比基线最高提升 4.8% F1。
• 在纯 KB 仅（如 WikiMovies 数据集上 96.8 Hits@1）和纯文本仅（如 DrQA 基线上的 86.6 F1）基准上，模型表现匹配或超过最先进水平。
• 相比非异构基线，异构更新使性能提升 4.8% F1，表明在同一篇文档内区分实体的重要性。
• 有向传播与关系上的查询注意力机制均对性能有显著贡献，且在所有 KB 完全度水平下均观察到性能提升。
• 在中等程度（如 30%）的实体丢弃率下，泛化能力反而提升，表明正则化有助于模型避免对 KB 噪声的过拟合。
• 模型在需要约束推理的问题（如时间或顺序约束）上表现较差，但当忽略此类约束时，F1 提升 3.8%。