[论文解读] Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages

Yi Luo, Aiguo Chen+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Graph Neural Networks参考文献 18被引用 9

一句话总结

该论文提出LinkDist，一种通过将相连节点对的自知识蒸馏到多层感知机（MLP）中，实现无需消息传递的图节点分类方法。通过对比学习强制节点与其邻居之间保持一致的预测，LinkDist在半监督和全监督节点分类任务中实现了与GNN相当的准确率，同时速度更快、内存效率更高。

ABSTRACT

Nowadays, Graph Neural Networks (GNNs) following the Message Passing paradigm become the dominant way to learn on graphic data. Models in this paradigm have to spend extra space to look up adjacent nodes with adjacency matrices and extra time to aggregate multiple messages from adjacent nodes. To address this issue, we develop a method called LinkDist that distils self-knowledge from connected node pairs into a Multi-Layer Perceptron (MLP) without the need to aggregate messages. Experiment with 8 real-world datasets shows the MLP derived from LinkDist can predict the label of a node without knowing its adjacencies but achieve comparable accuracy against GNNs in the contexts of semi- and full-supervised node classification. Moreover, LinkDist benefits from its Non-Message Passing paradigm that we can also distil self-knowledge from arbitrarily sampled node pairs in a contrastive way to further boost the performance of LinkDist.

研究动机与目标

• 解决图神经网络（GNNs）中消息传递带来的计算和内存开销，这些开销源于邻接矩阵和消息聚合操作。
• 克服知识蒸馏在动态图中的局限性，即当边或节点发生变化时需要重新训练。
• 开发一种轻量化、快速且可部署的模型，在推理阶段无需依赖邻居信息的同时保持高准确率。
• 探索是否可以将节点连通性的结构知识有效蒸馏到无需消息传递的简单模型（如MLP）中。
• 通过在边级样本对上进行训练而非完整图结构，实现高效的归纳节点分类。

提出的方法

• 训练一个共享的MLP头，为中心节点及其邻居预测节点标签，并通过知识蒸馏强制预测一致性。
• 使用对比损失最大化相连节点之间预测的一致性，同时最小化随机采样节点对之间的预测一致性。
• 通过优化模型使节点与其邻接节点产生相似的预测，即使没有显式的消息传递。
• 将训练过程分解为边的迷你批次，降低内存使用，提升在大规模图上的可扩展性。
• 以非消息传递模式进行训练，通过在推理阶段无需存储或访问邻居特征，仅依赖中心节点的特征。
• 引入一种对比变体（CoLinkDist），通过显式拉大随机采样节点对之间预测的距离，进一步提升性能。

实验结果

研究问题

• RQ1 能否在无需消息传递的情况下，将节点连通性的结构知识有效蒸馏到简单的MLP中？
• RQ2 非消息传递模型是否能在半监督和全监督节点分类任务中达到与GNN相当的准确率？
• RQ3 在节点对上使用对比学习是否能提升蒸馏MLP的性能，相比标准蒸馏方法？
• RQ4 当引入新节点或边时，LinkDist是否能保持高准确率，而无需重新处理整个图？
• RQ5 在归纳和归纳设置下，LinkDist与从GCN蒸馏到MLP（GCN2MLP）的知识蒸馏方法相比，性能如何？

主要发现

• LinkDistMLP在所有8个真实世界数据集上，显著优于标准MLP，成为非消息传递模型中的最先进方法。
• 在Cora数据集上，LinkDistMLP在全监督学习中达到87.58%的准确率，超过GCN2MLP（75.95%），并接近GCN（86.03%）的准确率。
• 在归纳设置下，LinkDistMLP在Cora上达到87.58%，优于GCN2MLP（75.95%），表明蒸馏的结构知识能增强泛化能力。
• 对比变体CoLinkDistMLP进一步提升性能，在Coauthor-CS上达到95.74%，在Coauthor-Physics上达到97.05%，在某些情况下甚至超过GCN。
• 在消息传递模式下的LinkDist在Cora上达到88.24%的准确率，与所有数据集上的GCN准确率相当或更优，证明其与GNN的竞争力。
• 该方法对图结构变化具有鲁棒性：无需重新处理整个图，LinkDist可高效更新参数，避免了昂贵的消息传播计算。