[论文解读] A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts

Wanjun Zhong, Duyu Tang+4 more|arXiv (Cornell University)|Apr 25, 2020

Topic Modeling参考文献 23被引用 6

一句话总结

本文提出 ProGraph，一种异构图神经网络，通过整合事实性、时序性和逻辑性知识，提升对动态程序性文本的问答性能。通过构建基于 BERT 嵌入节点的知识增强图，并端到端训练图神经网络，该模型在 PROPARA 数据集上取得了 61.0% 的 F1 分数，显著优于强基线模型 ProGlobal，同时通过图结构实现可解释的推理过程。

ABSTRACT

We study question answering over a dynamic textual environment. Although neural network models achieve impressive accuracy via learning from input-output examples, they rarely leverage various types of knowledge and are generally not interpretable. In this work, we propose a graph-based approach, where a heterogeneous graph is automatically built with factual knowledge of the context, temporal knowledge of the past states, and logical knowledge that combines human-curated knowledge bases and rule bases. We develop a graph neural network over the constructed graph, and train the model in an end-to-end manner. Experimental results on a benchmark dataset show that the injection of various types of knowledge improves a strong neural network baseline. An additional benefit of our approach is that the graph itself naturally serves as a rational behind the decision making.

研究动机与目标

• 通过在训练数据之外引入结构化知识，提升神经网络在动态文本环境中的问答性能。
• 解决纯神经模型在可解释性与知识整合方面的不足。
• 结合符号推理与神经表征学习，提升状态追踪的一致性与泛化能力。
• 利用统一的基于图的框架建模程序性文本中的因果与时序依赖关系。
• 通过图结构提供理性且可追溯的决策过程，增强模型透明度。

提出的方法

• 构建一个异构图，整合来自信息抽取的事实性知识、来自过去状态语义向量变换的时序知识，以及基于 VerbNet 的规则推理所生成的逻辑知识。
• 使用 BERT 初始化图中实体、动作和关系的节点表征。
• 应用具有消息传递与聚合机制的图神经网络，更新图中所有节点的表征。
• 使用 PROPARA 数据集的监督信号，端到端训练整个模型。
• 引入符号规则与外部知识库，指导逻辑推理并确保与世界知识的一致性。
• 利用图结构支持全局推理与时间步上的细粒度状态变化预测。

实验结果

研究问题

• RQ1 在神经模型中注入事实性、时序性与逻辑性知识，能否提升其在动态程序性文本上的推理性能？
• RQ2 符号知识的整合在多大程度上增强了神经问答系统的可解释性与一致性？
• RQ3 异构图结构在多大程度上支持对实体状态及其随时间演变的更好建模？
• RQ4 该模型如何处理程序性叙述中模糊或隐含的因果关系？
• RQ5 模型的主要失败模式是什么？如何通过更精细的知识对齐来缓解这些问题？

主要发现

• ProGraph 在 PROPARA 基准上取得 61.0% 的 F1 分数，显著优于强基线模型 ProGlobal。
• 在三类句子级问题（Cat-1、Cat-2、Cat-3）上，模型分别提升 4.9%、4.62% 和 3.55% 的性能。
• 消融实验表明，事实性、时序性与逻辑性知识的联合引入对性能提升具有显著贡献。
• 图结构天然地作为预测结果的理性解释，增强了模型的可解释性。
• 主要错误类型包括初始状态误分类、对依赖载体的实体状态跟踪失败，以及因缺乏细粒度语义上下文而导致的基于动词的规则推理错误。
• 错误分析表明，共指消解的改进与知识库中动词语义的增强，可进一步降低位置与状态预测的错误率。