[论文解读] Cycle Representation Learning for Inductive Relation Prediction

Zuoyu Yan, Tengfei Ma+3 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出循环基图神经网络（CBGNN），一种新颖的图神经网络框架，通过利用代数拓扑中循环空间的线性代数结构，将知识图谱中的归纳关系预测问题转化为循环表示学习问题。通过在循环基上学习表示而非遍历所有可能的路径，CBGNN 在现有基于图神经网络的方法中实现了显著更高的效率与最先进性能。

ABSTRACT

In recent years, algebraic topology and its modern development, the theory of persistent homology, has shown great potential in graph representation learning. In this paper, based on the mathematics of algebraic topology, we propose a novel solution for inductive relation prediction, an important learning task for knowledge graph completion. To predict the relation between two entities, one can use the existence of rules, namely a sequence of relations. Previous works view rules as paths and primarily focus on the searching of paths between entities. The space of rules is huge, and one has to sacrifice either efficiency or accuracy. In this paper, we consider rules as cycles and show that the space of cycles has a unique structure based on the mathematics of algebraic topology. By exploring the linear structure of the cycle space, we can improve the searching efficiency of rules. We propose to collect cycle bases that span the space of cycles. We build a novel GNN framework on the collected cycles to learn the representations of cycles, and to predict the existence/non-existence of a relation. Our method achieves state-of-the-art performance on benchmarks.

研究动机与目标

• 解决现有归纳关系预测方法在指数级庞大的路径空间中搜索所导致的效率低下与可扩展性问题。
• 利用代数拓扑中循环空间的内在线性结构，以缩小逻辑规则的搜索空间。
• 开发一种基于图神经网络的框架，通过在循环基上学习表示而非单条路径，实现高效且准确的关系预测。
• 证明基于循环的规则学习在知识图谱补全任务中优于基于路径或启发式规则挖掘的方法。

提出的方法

• 该方法将逻辑规则建模为知识图谱中的循环，将每条规则视为包含目标关系的闭合关系环路。
• 通过从有策略选择的中心节点出发构建最短路径树（SPT），构造循环基，以确保覆盖图的循环空间。
• 在循环图上构建一种新型图神经网络，其中节点表示基循环，边编码循环之间的相互作用。
• 通过双向循环神经网络（BR-LSTM）在循环之间传递消息，以学习与关系相关的循环表示。
• 使用模-2加法组合基循环，使所有可能的循环均可表示为线性组合。
• 通过在循环表示上使用可学习注意力机制聚合循环置信度得分，完成最终预测。

实验结果

研究问题

• RQ1 代数拓扑中循环空间的线性代数结构是否可用于缩小知识图谱中逻辑规则的搜索空间？
• RQ2 在准确率与效率方面，基于循环基的表示学习是否优于基于路径的规则挖掘？
• RQ3 循环基生成策略的选择（如 SPT 与随机选择）如何影响归纳关系预测的性能？
• RQ4 与节点级图神经网络相比，基于循环表示的图神经网络在泛化能力和归纳偏置方面有多大提升？
• RQ5 基于循环的学习方法是否能自然扩展至零样本或少样本关系预测场景？

主要发现

• CBGNN 在多个归纳关系预测基准上达到最先进性能，优于现有的基于图神经网络与基于规则的方法。
• 消融实验确认，通过图神经网络学习循环表示是关键——CBGNN-MLP（跳过图神经网络，直接对预定义的 SPT 循环进行分类）性能低于完整模型。
• 使用多个基于 SPT 的循环基（k=20）显著优于单基或随机基方法，证明了覆盖范围与多样性的关键作用。
• 基于 BR-LSTM 的循环特征生成在大多数数据集上优于 BOW 与标准 LSTM 基线，表明建模双向关系序列具有优势。
• 该方法显著快于现有基于图神经网络的方法，因其为所有三元组构建单一统一的图神经网络，而非为每个三元组提取子图。
• 在 FB15k-237 上，BOW 特征出人意料地优于 BR-LSTM，可能由于该数据集关系类型多样性高，表明特征设计具有领域依赖性。