[论文解读] A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks

Xinyi Wu, Zhengdao Chen+2 more|arXiv (Cornell University)|Dec 21, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文通过区分有益的去噪效应（同类别节点的同质化）与有害的混合效应（不同类别节点的同质化），对图神经网络（GNNs）中的过平滑现象进行了非渐近分析。研究发现，当混合效应超过去噪效应时即发生过平滑，其临界深度阈值在稠密图中为 $O(\log N / \log \log N)$，并进一步分析了个性化PageRank（PPR）对这一权衡的影响。

ABSTRACT

Oversmoothing is a central challenge of building more powerful Graph Neural Networks (GNNs). While previous works have only demonstrated that oversmoothing is inevitable when the number of graph convolutions tends to infinity, in this paper, we precisely characterize the mechanism behind the phenomenon via a non-asymptotic analysis. Specifically, we distinguish between two different effects when applying graph convolutions -- an undesirable mixing effect that homogenizes node representations in different classes, and a desirable denoising effect that homogenizes node representations in the same class. By quantifying these two effects on random graphs sampled from the Contextual Stochastic Block Model (CSBM), we show that oversmoothing happens once the mixing effect starts to dominate the denoising effect, and the number of layers required for this transition is $O(\log N/\log (\log N))$ for sufficiently dense graphs with $N$ nodes. We also extend our analysis to study the effects of Personalized PageRank (PPR), or equivalently, the effects of initial residual connections on oversmoothing. Our results suggest that while PPR mitigates oversmoothing at deeper layers, PPR-based architectures still achieve their best performance at a shallow depth and are outperformed by the graph convolution approach on certain graphs. Finally, we support our theoretical results with numerical experiments, which further suggest that the oversmoothing phenomenon observed in practice can be magnified by the difficulty of optimizing deep GNN models.

研究动机与目标

• 理解为何在GNN中过平滑现象在浅层即出现，与渐近分析所预测的仅在无限深度才出现的结论相反。
• 量化图卷积带来的两种相反效应之间的权衡：去噪（同类别节点同质化）与混合（不同类别节点同质化）。
• 理论上预测GNN性能达到峰值的‘最佳深度’，即在过平滑导致准确率下降之前。
• 评估个性化PageRank（PPR）和残差连接对缓解深层GNN中过平滑现象的影响。

提出的方法

• 作者使用上下文随机块模型（CSBM）生成具有已知社区结构和真实标签的随机图。
• 定义并量化两种效应：去噪效应（类内方差减少）与混合效应（类间距离增加），作为GNN深度的函数。
• 理论分析推导出混合效应超过去噪效应的深度，表明稠密图的临界阈值为 $O(\log N / \log \log N)$。
• 将分析扩展至基于PPR的GNN，表明PPR可减少每层的混合效应，但同时也削弱了去噪效应。
• 通过在合成CSBM图和真实数据集（Cora、CiteSeer、PubMed）上的数值实验验证理论预测。
• 分析不同消息传递机制（随机游走与对称卷积）下节点表示的方差动态，发现某些情况下呈现非单调行为。

实验结果

研究问题

• RQ1 在GNN中，过平滑现象在何种深度开始主导性能表现？这一阈值由什么决定？
• RQ2 随着网络深度增加，图卷积的去噪与混合效应如何相互作用？
• RQ3 深层GNN的性能下降是否主要归因于过平滑，还是优化困难是主要混淆因素？
• RQ4 个性化PageRank（PPR）在多大程度上缓解了过平滑现象？它是否能使更深的GNN模型超越标准GCN架构的性能？
• RQ5 为何许多GNN在浅层时表现最佳，即使渐近分析表明更深的模型应表现更好？

主要发现

• 过平滑并非由于在无限层数下混合效应的累积所致，而是当混合效应开始主导去噪效应时发生，其临界深度在稠密图中为 $O(\log N / \log \log N)$。
• 去噪效应迅速饱和——仅在几层内即达上限，而混合效应持续增长，导致深层网络性能下降。
• 基于PPR的GNN可减少每层的混合效应并提高对深度的鲁棒性，但仍仅在浅层达到最优性能，且在某些图上表现不如标准GCN。
• 数值实验表明，实践中观察到的过平滑现象通常由深层GNN中的优化困难所加剧，而不仅仅是理论上的过平滑机制所致。
• 在随机游走卷积下，节点表示的方差并不总是随深度单调减少，尽管在对称卷积下是单调减少的，表明方差动态存在结构依赖性。
• 在Cora、CiteSeer和PubMed上的实证结果表明，随着深度增加，混合与去噪效应均增强，其中去噪效应早期即饱和，而混合效应持续增长，证实了理论上的权衡关系。