[论文解读] Graph Random Neural Network for Semi-Supervised Learning on Graphs

Wenzheng Feng, Jie Zhang+7 more|arXiv (Cornell University)|May 22, 2020

Advanced Graph Neural Networks参考文献 49被引用 23

一句话总结

本文提出图随机神经网络（Grand），一种简单而有效的图半监督节点分类框架。Grand 通过随机传播进行图数据增强，并结合一致性正则化，显著提升了模型的鲁棒性与泛化能力，在标签数据稀缺的设置下，显著优于当前最先进（SOTA）的图神经网络（GNN）模型，同时有效缓解了过平滑与过拟合问题。

ABSTRACT

We study the problem of semi-supervised learning on graphs, for which graph neural networks (GNNs) have been extensively explored. However, most existing GNNs inherently suffer from the limitations of over-smoothing, non-robustness, and weak-generalization when labeled nodes are scarce. In this paper, we propose a simple yet effective framework -- GRAPH RANDOM NEURAL NETWORKS (GRAND) -- to address these issues. In GRAND, we first design a random propagation strategy to perform graph data augmentation. Then we leverage consistency regularization to optimize the prediction consistency of unlabeled nodes across different data augmentations. Extensive experiments on graph benchmark datasets suggest that GRAND significantly outperforms state-of-the-art GNN baselines on semi-supervised node classification. Finally, we show that GRAND mitigates the issues of over-smoothing and non-robustness, exhibiting better generalization behavior than existing GNNs. The source code of GRAND is publicly available at https://github.com/Grand20/grand.

研究动机与目标

• 解决现有 GNN 在半监督学习中的局限性，包括在标签节点稀少时的过平滑、非鲁棒性与过拟合问题。
• 通过解耦特征传播与变换过程，提升模型泛化能力，降低对特定邻域结构的依赖。
• 提出一种基于随机传播的数据增强策略，为未标记节点生成多样化且一致的表示。
• 通过在多个随机增强版本上施加一致性正则化，提升模型的鲁棒性与性能。
• 证明在适当正则化下，简单的多层感知机（MLP）分类器可超越复杂的 GNN 架构。

提出的方法

• 引入随机传播：在图卷积前随机丢弃节点特征（部分或全部），以实现随机化的消息传递。
• 通过在传播前施加随机扰动，将特征传播与变换过程解耦，实现在不增加复杂度的前提下实现高阶消息传递。
• 利用图同质性（graph homophily）证明，随机传播可为每个节点生成多样化但语义一致的增强表示。
• 通过最小化同一未标记节点在多个随机增强版本上的预测方差，实施一致性正则化。
• 使用简单的 MLP 分类器，对标签节点采用交叉熵损失进行训练，对未标记节点采用一致性损失进行优化。
• 提供了理论分析，以理解随机传播与一致性正则化对模型行为的影响。

实验结果

研究问题

• RQ1 GNN 中的随机传播能否提升对对抗性扰动与数据噪声的鲁棒性？
• RQ2 将传播过程与变换过程解耦，是否能减少深层 GNN 中的过平滑现象？
• RQ3 在低标签半监督学习中，对随机增强版本施加一致性正则化是否能提升泛化能力？
• RQ4 在引入随机传播与一致性正则化后，基于简单 MLP 的模型是否能与复杂的 GNN 架构相媲美？
• RQ5 Grand 在不同标签率与图结构下，相较于当前最先进 GNN 模型的表现如何？

主要发现

• Grand 在多个基准数据集上进行半监督节点分类任务时，显著优于当前最先进（SOTA）的 GNN 基线模型。
• 通过解耦传播与变换过程，Grand 有效缓解了过平滑问题，实现了更深的消息传递而无性能下降。
• 由于特征传播中的随机性，模型对对抗性攻击表现出更强的鲁棒性。
• 在标签数据稀缺时，通过随机增强的一致性正则化显著提升了泛化能力。
• 实验结果表明，仅使用简单的 MLP 分类器，Grand 的性能优于复杂的 GNN 模型。
• 理论分析支持随机传播与一致性正则化在稳定训练与提升泛化能力方面的有效性。