[论文解读] Inductive Relation Prediction by Subgraph Reasoning

Komal K. Teru, Etienne Denis+1 more|arXiv (Cornell University)|Nov 16, 2019

Advanced Graph Neural Networks参考文献 32被引用 64

一句话总结

GraIL 是一个基于 GNN 的框架，通过对目标节点对周围的包含子图进行推理来进行归纳型关系预测，使其能够对未见实体和图进行泛化，并在与基于嵌入的方法进行集成时获得互补收益。

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

研究动机与目标

• 推动需要对未见实体进行泛化的 inductive 关系预测，以解决基于嵌入的方法的局限性。
• 提出 GraIL，一种学习实体无关关系语义的子图为基础的 GNN 框架。
• 证明 GraIL 能编码部分一阶逻辑规则并在某些情形下优于归纳基线。
• 证明在传导设定中将 GraIL 与 KG 嵌入进行集成可以带来提升。
• 提供新的 inductive 基准数据集并通过消融分析来分析组件。

提出的方法

• 通过对两个目标节点的 k 跳邻域取交集并裁剪到两者之间路径较短的节点，提取候选三元组的包含子图。
• 使用双半径标注方案对子图中的节点进行标注，捕捉到目标节点的距离，从而在没有外部属性的情况下初始化节点特征。
• 使用带多关系消息传递与边类型注意力的 GNN 对三元组进行打分，随后对子图表示进行池化并与目标节点及关系嵌入级联以进行最终打分。
• 通过边头实体或尾实体替换的负采样，使用基于-margin的 hinge 损失进行训练。
• 证明 GraIL 能对基于路径的逻辑规则进行编码，并可在给定查询时近似计数满足的规则数量（定理1和推论1）。
• 可选地采用 JK 连接与基底共享以提高鲁棒性与表达能力。

实验结果

研究问题

• RQ1 GraIL 是否能够在不使用节点属性的情况下，通过对局部子图结构进行推理来完成 inductive 关系预测？
• RQ2 与现有的归纳基线（NeuralLP、DRUM、RuleN）在基于标准 KG 数据集派生的完全归纳基准上相比，GraIL 的表现如何？
• RQ3 在传导设定中将 GraIL 与基于嵌入的 KG 完成模型集成时，是否提供互补收益？
• RQ4 哪些组成部分（子图提取、节点标注、注意力机制）对 GraIL 的性能最为关键？

主要发现

• GraIL 在基于 WN18RR、FB15k-237、NELL-995 的归纳基准上，在 AUC-PR 和 Hits@10 方面显著超越现有最先进的归纳基线（NeuralLP、DRUM、RuleN）。
• 将 GraIL 与各种 KG 嵌入进行集成，在 WN18RR、FB15k-237、NELL-995 的传导关系预测任务中获得持续性提升，超过了多数据集上的最佳单独嵌入方法。
• 消融研究表明包围子图提取、双半径节点标注以及 GNN 中的注意力机制均至关重要，子图提取与标注尤其具有强烈影响。
• 理论分析（定理1和推论1）表明 GraIL 能编码广泛的基于路径的逻辑规则，并能对给定查询满足的规则数量进行计数。