[论文解读] An Open Challenge for Inductive Link Prediction on Knowledge Graphs

Mikhail Galkin, Max Berrendorf+1 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

本论文介绍了 ILPC 2022，这是一个基于两个大规模 Wikidata 数据集的开放性挑战，专注于知识图谱上的归纳链接预测。论文提出了两种基线模型——带 GNN 与不带 GNN 的 NodePiece，表明基于关系的分词方法可实现强大的零样本性能，而 GNN 能够在更大图上提升性能，凸显了归纳 GNN 泛化能力方面仍存在的挑战。

ABSTRACT

An emerging trend in representation learning over knowledge graphs (KGs) moves beyond transductive link prediction tasks over a fixed set of known entities in favor of inductive tasks that imply training on one graph and performing inference over a new graph with unseen entities. In inductive setups, node features are often not available and training shallow entity embedding matrices is meaningless as they cannot be used at inference time with unseen entities. Despite the growing interest, there are not enough benchmarks for evaluating inductive representation learning methods. In this work, we introduce ILPC 2022, a novel open challenge on KG inductive link prediction. To this end, we constructed two new datasets based on Wikidata with various sizes of training and inference graphs that are much larger than existing inductive benchmarks. We also provide two strong baselines leveraging recently proposed inductive methods. We hope this challenge helps to streamline community efforts in the inductive graph representation learning area. ILPC 2022 follows best practices on evaluation fairness and reproducibility, and is available at https://github.com/pykeen/ilpc2022.

研究动机与目标

• 为知识图谱中的归纳链接预测提供大规模、可复现的基准。
• 支持开发超越归纳方法的高效且可泛化的归纳表示学习模型。
• 提供标准化的评估框架，包含公平、透明且可复现的度量指标，以供社区范围内的比较。
• 通过提供公开数据集和排行榜，激励归纳 GNN 与实体表示学习方面的创新。

提出的方法

• 构建了两个基于 Wikidata 的数据集（ILPC22-S 和 ILPC22-L），采用完全归纳的设置，确保训练图与推理图相连且包含未见实体。
• 使用 NodePiece 通过其关联关系编码实体，构建基于关系的分词方案，实现在无需实体特定嵌入的情况下进行归纳推理。
• 实现了两种基线模型：一种为纯 NodePiece 模型（-GNN），另一种为使用 CompGCN 与 DistMult 评分的 GNN 增强版本（+GNN）。
• 采用自对抗负采样损失（NSSAL）和 Adam 优化进行训练，所有模型均使用固定的超参数。
• 通过在推理图的所有实体上进行排名，而非仅基于采样的负例，确保评估的公平性。
• 通过公开的 GitHub 仓库托管挑战，提供排行榜以及标准化的训练/推理协议。

实验结果

研究问题

• RQ1 现有归纳链接预测模型在大规模、现实世界知识图谱（如 Wikidata）上的表现如何？
• RQ2 通过 NodePiece 实现的关系分词方法是否能在无需实体特定嵌入的情况下实现强大的归纳泛化？
• RQ3 与独立的 NodePiece 相比，GNN 在大规模归纳链接预测任务中能带来多大程度的性能提升？
• RQ4 当前归纳模型在大规模图中对未见实体的计算成本与性能表现如何扩展？
• RQ5 哪些关键设计选择能够提升归纳链接预测基准的可复现性与公平性？

主要发现

• 纯 NodePiece 基线模型（-GNN）在 ILPC22-S 上 Hits@100 达到 0.4678，在 ILPC22-L 上达到 0.287，表明即使无消息传递机制，仍具备强大的召回能力。
• 在 ILPC22-S 上，GNN 增强基线模型（+GNN）将 MRR 从 0.0381 提升至 0.1326，显示出在小规模图上的显著性能提升。
• 在更大的 ILPC22-L 数据集上，MRR 提升较为有限（从 0.0651 提升至 0.0705），表明当前 GNN 在归纳设置下的可扩展性存在局限。
• 在 ILPC22-L 上训练 +GNN 基线模型耗时 480 分钟，占用 3GB VRAM，凸显了在大规模图上训练的计算需求。
• +GNN 在 ILPC22-S 上的 AMRI 得分为 0.730，表明模型具有较强的可靠性；而在 ILPC22-L 上的 0.682 得分则表明仍有改进空间。
• 本挑战的评估协议（对所有推理实体进行排名）相比基于采样的基线，提供了更具意义且更易解释的度量指标。