[论文解读] Linkless Link Prediction via Relational Distillation

Zhichun Guo, William Shiao+5 more|arXiv (Cornell University)|Oct 11, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种无链接链接预测（LLP）方法，这是一种关系知识蒸馏框架，可将图神经网络（GNN）中的图结构知识蒸馏到多层感知机（MLP）中，用于链接预测。通过匹配锚点节点与上下文节点之间的排序关系和分布关系，LLP使MLP的性能超越教师GNN，在8个基准测试中的7个上表现更优，并在OGB数据集上实现了70.68倍的推理速度提升。

ABSTRACT

Graph Neural Networks (GNNs) have shown exceptional performance in the task of link prediction. Despite their effectiveness, the high latency brought by non-trivial neighborhood data dependency limits GNNs in practical deployments. Conversely, the known efficient MLPs are much less effective than GNNs due to the lack of relational knowledge. In this work, to combine the advantages of GNNs and MLPs, we start with exploring direct knowledge distillation (KD) methods for link prediction, i.e., predicted logit-based matching and node representation-based matching. Upon observing direct KD analogs do not perform well for link prediction, we propose a relational KD framework, Linkless Link Prediction (LLP), to distill knowledge for link prediction with MLPs. Unlike simple KD methods that match independent link logits or node representations, LLP distills relational knowledge that is centered around each (anchor) node to the student MLP. Specifically, we propose rank-based matching and distribution-based matching strategies that complement each other. Extensive experiments demonstrate that LLP boosts the link prediction performance of MLPs with significant margins, and even outperforms the teacher GNNs on 7 out of 8 benchmarks. LLP also achieves a 70.68x speedup in link prediction inference compared to GNNs on the large-scale OGB dataset.

研究动机与目标

• 为解决链接预测中的性能-延迟权衡问题，结合GNN的准确性与MLP的高效性。
• 探究直接知识蒸馏（logit或表示匹配）是否能有效将GNN知识迁移至MLP用于链接预测。
• 开发一种关系蒸馏框架，捕捉超越单个节点对的拓扑感知关系知识。
• 实现实时应用（如推荐系统）中高速、低延迟的链接预测。

提出的方法

• 提出一种关系蒸馏框架LLP，聚焦于每个锚点节点处的知识，而非单个链接或节点表示。
• 引入基于排序的匹配方法，以保持上下文节点链接概率的相对排序，确保Top-K推荐的准确性。
• 采用基于分布的匹配方法，对齐教师模型与学生模型的完整链接预测概率分布。
• 使用结合监督学习、基于排序的匹配和基于分布的匹配的双损失训练目标，实现全面的知识迁移。
• 在每个锚点节点的固定跳数范围内采样上下文节点，以限制计算成本，同时保留关系结构。
• 在基于排序的匹配中应用可学习的温度缩放和基于边距的损失，以处理同一跳内的相似节点。

实验结果

研究问题

• RQ1 直接知识蒸馏方法（logit或表示匹配）能否有效将GNN知识迁移至MLP用于链接预测？
• RQ2 为何标准蒸馏方法在链接预测中失效，缺少了何种关系归纳偏置？
• RQ3 保持GNN教师模型中链接的相对排序和概率分布是否能提升MLP的性能？
• RQ4 关系蒸馏是否能使MLP在保持低推理延迟的同时，超越GNN在链接预测中的表现？

主要发现

• LLP在8个基准数据集中的7个上，以Hits@20为指标，表现优于教师GNN。
• 在OGB-Products数据集上，LLP的推理时间相比GNN实现了70.68倍的加速，同时保持了最先进性能。
• 所提出的基于排序的匹配损失（$\mathcal{L}_{\textsf{LLP}\_R}$）在所有数据集上均持续优于ListNet这一标准排序损失。
• 基于分布的匹配与基于排序的匹配相辅相成，消融研究显示两者对最优性能均不可或缺。
• 即使MLP宽度为教师模型的2–4倍，LLP的推理速度仍显著快于GNN，在Collab和Citation2数据集上分别实现了18.9倍和147倍的加速。