[论文解读] Graph-MLP: Node Classification without Message Passing in Graph

Hu Yang, Haoxuan You+4 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Graph Neural Networks参考文献 32被引用 50

一句话总结

Graph-MLP 表明，在纯 MLP 框架中，通过新颖的邻近对比（NContrast）损失引导，可以在前向传播期间省略显式信息传递的情况下有效完成节点分类，达到与 GNN 相当或更优的结果。

ABSTRACT

Graph Neural Network (GNN) has been demonstrated its effectiveness in dealing with non-Euclidean structural data. Both spatial-based and spectral-based GNNs are relying on adjacency matrix to guide message passing among neighbors during feature aggregation. Recent works have mainly focused on powerful message passing modules, however, in this paper, we show that none of the message passing modules is necessary. Instead, we propose a pure multilayer-perceptron-based framework, Graph-MLP with the supervision signal leveraging graph structure, which is sufficient for learning discriminative node representation. In model-level, Graph-MLP only includes multi-layer perceptrons, activation function, and layer normalization. In the loss level, we design a neighboring contrastive (NContrast) loss to bridge the gap between GNNs and MLPs by utilizing the adjacency information implicitly. This design allows our model to be lighter and more robust when facing large-scale graph data and corrupted adjacency information. Extensive experiments prove that even without adjacency information in testing phase, our framework can still reach comparable and even superior performance against the state-of-the-art models in the graph node classification task.

研究动机与目标

• 在不进行显式信息传递的情况下，激发对图中节点表示的学习。
• 引入一种基于纯MLP的图节点分类架构。
• 设计一个邻近对比损失，将图结构监督注入到MLP中。
• 展示鲁棒性和效率优势，特别是在邻接信息受损或缺失的情况下。

提出的方法

• 使用具有线性层、GELU激活、层归一化和 dropout 的纯MLP架构。
• 引入NContrast损失，其中r跳邻居为正样本，非邻居为负样本，使用A^r作为正样本权重。
• 在训练过程中将交叉熵分类损失与NContrast损失结合（loss_final = loss_CE + alpha * loss_NC）。
• 端到端训练，在前向传播中不需要邻接矩阵；邻接信息仅在损失计算中使用。
• 推理仅依赖节点特征，使其对损坏或缺失的邻接信息具有鲁棒性。

实验结果

研究问题

• RQ1 纯MLP模型在没有显式信息传递的情况下，是否能够学习到具有辨别力的图节点表示？
• RQ2 在损失函数中利用邻接信息的邻近对比损失，是否能实现具有竞争力的节点分类性能？
• RQ3 与传统GNN相比，在邻接信息损坏或缺失的情况下，Graph-MLP 的表现如何？

主要发现

模型	Cora	Citeseer	Pubmed
DeepWalk	70.7	51.4	76.8
AdaLNet	80.4	68.7	78.1
LNet	79.5	66.2	78.3
GCN	81.5	70.3	79.0
GAT	83.0	72.5	79.0
DGI	82.3	71.8	76.8
SGC	81.0	71.9	78.9
MLP (alpha=0)	57.8	54.7	73.3
Graph-MLP	79.5	73.1	79.7

• 与最先进方法相比，Graph-MLP在Citeseer和Pubmed上实现了具有竞争力或更优的准确率，在Cora上表现相当。
• 通过避免显式信息传递，Graph-MLP 展现出更高的训练和推理效率。
• NContrast损失对普通MLP提供显著提升，在数据集上取得大幅改进（例如，当alpha>0时，Cora提升21.7%，Citeseer提升18.4%，Pubmed提升6.4%）。
• 推理阶段，Graph-MLP 对损坏的邻接信息仍然鲁棒，这与传统基于GCN的模型不同。
• 消融研究表明对若干超参数具有鲁棒性，并且较大的alpha在某些数据集上可以提升性能。