[论文解读] Cognitive Knowledge Graph Reasoning for One-shot Relational Learning

Zhengxiao Du, Chang Zhou+3 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Graph Neural Networks参考文献 39被引用 24

一句话总结

CogKR 提出了一种认知知识图谱推理框架，用于通过结合摘要模块（编码未见过的关系）和受双过程理论启发的推理模块（在认知图谱上进行迭代检索（系统1）和关系推理（系统2）），实现少样本关系学习。该方法在少样本知识图谱推理基准上相比SOTA模型实现了24.3%–29.7%的相对MRR提升，推理路径具有可解释性，基于子图结构。

ABSTRACT

Inferring new facts from existing knowledge graphs (KG) with explainable reasoning processes is a significant problem and has received much attention recently. However, few studies have focused on relation types unseen in the original KG, given only one or a few instances for training. To bridge this gap, we propose CogKR for one-shot KG reasoning. The one-shot relational learning problem is tackled through two modules: the summary module summarizes the underlying relationship of the given instances, based on which the reasoning module infers the correct answers. Motivated by the dual process theory in cognitive science, in the reasoning module, a cognitive graph is built by iteratively coordinating retrieval (System 1, collecting relevant evidence intuitively) and reasoning (System 2, conducting relational reasoning over collected information). The structural information offered by the cognitive graph enables our model to aggregate pieces of evidence from multiple reasoning paths and explain the reasoning process graphically. Experiments show that CogKR substantially outperforms previous state-of-the-art models on one-shot KG reasoning benchmarks, with relative improvements of 24.3%-29.7% on MRR. The source code is available at https://github.com/THUDM/CogKR.

研究动机与目标

• 为解决在仅有一个或少数几个训练样本的情况下，对知识图谱中未见关系类型的事实进行推理的挑战。
• 克服现有基于嵌入的方法在少样本设置下缺乏可解释性与多跳推理能力的局限。
• 将认知科学原理——特别是双过程理论——整合到知识图谱推理中，以提升泛化能力和可解释性。
• 开发一种可扩展的、基于图谱的推理机制，通过聚合多条路径和子图的证据，而非依赖单一路径遍历。

提出的方法

• 摘要模块利用知识图谱中的实体表示，将单个支持三元组的潜在关系编码为连续向量。
• 推理模块通过从知识图谱邻域中迭代检索相关实体和关系，构建认知图谱，模拟系统1的直觉式检索。
• 使用可微神经网络在认知图谱上执行关系推理，通过多轮推理步骤更新节点表示，模拟系统2的显式推理过程。
• 认知图谱在迭代过程中动态扩展和更新，保留结构信息，支持多路径证据聚合。
• 最终预测基于认知图谱中最终的节点表示做出，注意力机制用于加权来自多样化推理路径的证据。
• 通过扩展摘要模块以处理多个支持样本，该模型支持少样本和少样本学习。

实验结果

研究问题

• RQ1 基于双过程理论的认知图谱推理框架是否能在少样本关系学习中优于纯嵌入方法？
• RQ2 与仅基于路径的方法相比，基于子图的推理机制在少样本设置下捕捉复杂多路径证据的效率如何？
• RQ3 系统1（检索）与系统2（推理）的结合在低数据环境下在多大程度上提升了推理的准确性和鲁棒性？
• RQ4 所提出的方法能否生成人类可理解的推理路径，以解释其在复杂关系结构中的预测结果？

主要发现

• CogKR 在标准少样本知识图谱推理基准上，相比SOTA模型，MRR指标实现了24.3%至29.7%的相对提升。
• 该模型通过利用子图级别的证据而非依赖单一路径推理，展现出更优的性能，实现了更稳健的推理。
• 模型生成了可解释的推理图，可视化了多条路径、三角形及复杂子图，这些是路径方法无法完全建模的。
• 由于认知图谱结构支持跨多条推理路径的有效证据聚合，推理过程对推理复杂性具有鲁棒性。
• 与基线模型随候选实体数量线性增长的推理时间不同，CogKR的推理时间保持恒定。
• 该模型在非连通知识图谱中存在局限，提示未来工作应增强检索能力以扩展未连接节点。