[论文解读] Graph Random Neural Network.

Wenzheng Feng, Jie Zhang+6 more|arXiv (Cornell University)|May 22, 2020

Advanced Graph Neural Networks参考文献 61被引用 7

一句话总结

Grand 提出了一种图随机神经网络，通过随机传播机制增强模型在半监督图学习中的鲁棒性，并缓解过平滑和过拟合问题。通过将特征变换与消息传递解耦，并利用随机增强的一致性正则化，Grand 在基准数据集上取得了最先进性能。

ABSTRACT

Graph neural networks (GNNs) have generalized deep learning methods into graph-structured data with promising performance on graph mining tasks. However, existing GNNs often meet complex graph structures with scarce labeled nodes and suffer from the limitations of non-robustness, over-smoothing, and overfitting. To address these issues, we propose a simple yet effective GNN framework---Graph Random Neural Network (Grand). Different from the deterministic propagation in existing GNNs, Grand adopts a random propagation strategy to enhance model robustness. This strategy also naturally enables Grand to decouple the propagation from feature transformation, reducing the risks of over-smoothing and overfitting. Moreover, random propagation acts as an efficient method for graph data augmentation. Based on this, we propose the consistency regularization for Grand by leveraging the distributional consistency of unlabeled nodes in multiple augmentations, improving the generalization capacity of the model. Extensive experiments on graph benchmark datasets suggest that Grand significantly outperforms state-of-the-art GNN baselines on semi-supervised graph learning tasks. Finally, we show that Grand mitigates the issues of over-smoothing and overfitting, and its performance is married with robustness.

研究动机与目标

• 解决现有 GNN 在处理标签节点稀少的复杂图时的局限性。
• 缓解确定性 GNN 中常见的过平滑和过拟合问题。
• 通过基于随机传播的新型数据增强策略，提升模型泛化能力。
• 提出一种一致性正则化方法，利用多个随机增强下的分布稳定性。
• 在半监督图学习基准任务上达到最先进性能。

提出的方法

• 用随机传播策略替代 GNN 中的确定性消息传递，通过在前向传播中随机采样邻居实现。
• 将特征变换与消息传递解耦，以降低过平滑和过拟合风险。
• 利用随机传播机制生成多个随机图增强，构建输入图的多样化视图。
• 通过鼓励模型对同一图的不同随机增强版本产生一致预测，应用一致性正则化。
• 端到端训练模型，同时使用标签数据和在不同增强中未标记节点的一致性损失。
• 利用未标记节点在多次随机前向传播中预测的分布一致性作为正则化器。

实验结果

研究问题

• RQ1 GNN 中的随机传播能否提升对复杂图结构和标签稀缺性的鲁棒性？
• RQ2 将消息传递与特征变换解耦是否能降低 GNN 的过平滑和过拟合？
• RQ3 随机传播能否作为图神经网络的有效数据增强方法？
• RQ4 在多个随机增强上的一致性正则化是否能提升半监督图学习中的泛化能力？
• RQ5 所提出的框架能否在基准半监督图学习任务上超越最先进 GNN 模型？

主要发现

• Grand 在标准半监督图学习基准数据集上显著优于现有最先进 GNN 基线模型。
• 随机传播机制通过将特征变换与消息传递解耦，有效缓解了过平滑问题。
• 在多个随机增强上的一致性正则化提升了模型的泛化能力和鲁棒性。
• Grand 在标签节点有限的情况下仍表现出色，表明其样本效率更高。
• 由于传播过程的随机性，模型对图结构变化和噪声表现出更强的鲁棒性。