[论文解读] Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs

Jiajun Chen, Huarui He+2 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Graph Neural Networks参考文献 25被引用 12

一句话总结

本文提出 TACT，一种新颖的归纳式链接预测模型，通过将关系对分类为拓扑模式并利用关系相关性网络（RCN）学习其相关系数，从而利用关系之间的拓扑感知相关性。TACT 在基准数据集上显著优于最先进方法，通过有效建模语义相关性而不依赖实体特定信息。

ABSTRACT

Inductive link prediction -- where entities during training and inference stages can be different -- has been shown to be promising for completing continuously evolving knowledge graphs. Existing models of inductive reasoning mainly focus on predicting missing links by learning logical rules. However, many existing approaches do not take into account semantic correlations between relations, which are commonly seen in real-world knowledge graphs. To address this challenge, we propose a novel inductive reasoning approach, namely TACT, which can effectively exploit Topology-Aware CorrelaTions between relations in an entity-independent manner. TACT is inspired by the observation that the semantic correlation between two relations is highly correlated to their topological structure in knowledge graphs. Specifically, we categorize all relation pairs into several topological patterns, and then propose a Relational Correlation Network (RCN) to learn the importance of the different patterns for inductive link prediction. Experiments demonstrate that TACT can effectively model semantic correlations between relations, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the inductive link prediction task.

研究动机与目标

• 解决现有归纳式链接预测模型忽略知识图谱中关系之间语义相关性的局限性。
• 建模关系对之间的拓扑结构如何影响其语义相关性。
• 开发一种与实体无关的方法，通过学习关系级别的相关性实现对未见实体的泛化。
• 通过结构化相关模式引入关系邻域信息，提升归纳式链接预测性能。
• 验证性能提升并非源于关系频率带来的数据偏差。

提出的方法

• 基于知识图谱中关系对的结构连接，将所有关系对分类为不同的拓扑模式（例如，头到尾、尾到尾等）。
• 构建一个关系相关性图（RCG），其中节点表示关系，边表示它们之间的拓扑模式。
• 设计一个关系相关性网络（RCN），以学习每种拓扑模式对链接预测的重要性（相关系数）。
• 利用 RCN 根据学习到的相关系数权重聚合邻近关系的表示。
• 使用可微分损失函数端到端训练模型，以在归纳设置下预测缺失链接。
• 应用与实体无关的关系聚合方法，使模型在推理阶段能泛化到未见实体。

实验结果

研究问题

• RQ1 关系对之间的拓扑结构在知识图谱中如何影响其语义相关性？
• RQ2 建模拓扑感知关系相关性是否能提升归纳式链接预测性能？
• RQ3 TACT 在未见实体上的泛化能力是否优于依赖实体或基于频率的基线方法？
• RQ4 不同拓扑模式（如 H-H、T-T、H-T）对链接预测准确率的贡献如何？
• RQ5 TACT 的性能提升是源于关系频率带来的数据偏差，还是真正的相关性建模？

主要发现

• 在 WN18RR(v1) 上，TACT 的 MRR 达到 0.995，显著优于之前的 SOTA 方法 GraIL（0.158）及其他基线方法。
• 在 NELL-995(v1) 上，TACT 的 MRR 达到 0.830，相较于 GraIL（0.158）和基于频率的基线方法（0.201）有显著提升。
• 在 FB15k-237(v1) 上，TACT 的 MRR 达到 0.880，优于 GraIL（0.158）和基于频率的方法（0.470）。
• 在 YAGO3-10 上，TACT 的 AUC-PR 达到 0.915，MRR 达到 0.406，表明在关系更少、稀疏性更高的大型知识图谱中仍表现强劲。
• 消融实验表明，若移除关系相关性建模（TACT w/o RC），性能出现显著下降，证明了拓扑感知相关性的重要性。
• 基于频率的基线方法表现较差（如在 NELL-995 上 MRR 为 0.201），证实 TACT 的性能提升并非源于数据频率偏差。