[论文解读] Inductive Relation Prediction on Knowledge Graphs.

Komal K. Teru, William L. Hamilton|arXiv (Cornell University)|Nov 16, 2019

Advanced Graph Neural Networks参考文献 11被引用 11

一句话总结

GraIL 是一种图神经网络框架，用于知识图谱中的归纳关系预测，通过推理局部子图结构来学习与实体无关的关系语义。在归纳设置中，其性能优于基于规则的基线方法；在溯因设置中，与嵌入模型集成后取得显著提升，表明其归纳偏差具有互补性。

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

研究动机与目标

• 为解决基于嵌入的方法在泛化到未见实体时的局限性，开发一种用于关系预测的归纳学习框架。
• 通过结构化、基于子图的推理机制，显式捕捉知识图谱中的组合逻辑规则。
• 提供一种理论基础扎实的方法，可在归纳设置中表示一阶逻辑的有用子集。
• 在归纳关系预测方面，相比现有基于规则的基线方法，展现出更优的性能。

提出的方法

• GraIL 使用一种在实体对中心的局部子图结构上运行的图神经网络，用于预测关系。
• 采用消息传递机制聚合邻域信息，捕捉与关系推理相关的结构模式。
• 该模型具有归纳偏差，使其在训练后能够泛化到未见过的实体和图结构。
• 引入可学习的评分函数，用于评估子图模式以进行关系预测。
• 该框架在理论上被证明可表示一阶逻辑的一个有用子集，支持知识图谱中的逻辑推理。
• 将 GraIL 与知识图谱嵌入模型集成，可在溯因设置中提升性能，表明其归纳偏差具有互补性。

实验结果

研究问题

• RQ1 图神经网络框架能否通过知识图谱中的局部子图推理，学习到与实体无关的关系语义？
• RQ2 GraIL 的归纳设计是否使其能够泛化到未见过的实体和图结构，而不同于基于嵌入的溯因方法？
• RQ3 GraIL 在多大程度上能够表示并推理知识图谱中的组合逻辑规则？
• RQ4 在归纳关系预测设置中，GraIL 与现有基于规则的基线方法相比表现如何？
• RQ5 在溯因设置中，将 GraIL 与知识图谱嵌入模型集成，可实现多大的性能提升？

主要发现

• 在归纳设置中，GraIL 显著优于现有基于规则的基线方法，展现出对未见实体的强大泛化能力。
• 该框架提供了理论证据，表明其可表示一阶逻辑的一个有用子集，支持知识图谱中的逻辑推理。
• 实证结果表明，在溯因设置中，GraIL 与多种知识图谱嵌入方法集成后可获得显著性能提升。
• GraIL 的归纳特性使其能够有效泛化到训练期间未见过的新实体和图结构。
• GraIL 与嵌入模型之间互补的归纳偏差，在组合使用时可提升整体性能，凸显了多样化推理机制的价值。