[論文レビュー] A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks

Xinyi Wu, Zhengdao Chen+2 more|arXiv (Cornell University)|Dec 21, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿は、同じクラスのノードを均一化する望ましいノイズ除去効果と、異なるクラスのノードを均一化する望ましくない混合効果を区別することにより、GNNにおける過剰平滑化の非漸近的分析を提供する。過剰平滑化は、混合効果がノイズ除去効果を上回る場合に発生し、その臨界深さの閾値は、密なグラフでは$O(\log N / \log \log N)$である。さらに、個人化ページランク（PPR）がこのトレードオフに与える影響を分析している。

ABSTRACT

Oversmoothing is a central challenge of building more powerful Graph Neural Networks (GNNs). While previous works have only demonstrated that oversmoothing is inevitable when the number of graph convolutions tends to infinity, in this paper, we precisely characterize the mechanism behind the phenomenon via a non-asymptotic analysis. Specifically, we distinguish between two different effects when applying graph convolutions -- an undesirable mixing effect that homogenizes node representations in different classes, and a desirable denoising effect that homogenizes node representations in the same class. By quantifying these two effects on random graphs sampled from the Contextual Stochastic Block Model (CSBM), we show that oversmoothing happens once the mixing effect starts to dominate the denoising effect, and the number of layers required for this transition is $O(\log N/\log (\log N))$ for sufficiently dense graphs with $N$ nodes. We also extend our analysis to study the effects of Personalized PageRank (PPR), or equivalently, the effects of initial residual connections on oversmoothing. Our results suggest that while PPR mitigates oversmoothing at deeper layers, PPR-based architectures still achieve their best performance at a shallow depth and are outperformed by the graph convolution approach on certain graphs. Finally, we support our theoretical results with numerical experiments, which further suggest that the oversmoothing phenomenon observed in practice can be magnified by the difficulty of optimizing deep GNN models.

研究の動機と目的

• 過剰平滑化が無限の深さで発生すると予想される漸近的解析とは対照的に、浅い深さでなぜGNNで発生するのかを理解すること。
• グラフ畳み込みの二つの相反する効果（ノイズ除去：同じクラスのノードを均一化すること、混合：異なるクラスのノードを均一化すること）のトレードオフを定量化すること。
• 過剰平滑化が性能を低下させる前に、GNNの性能がピークに達する「最適深さ」を理論的に予測すること。
• 個人化ページランク（PPR）と残差接続が、深層GNNにおける過剰平滑化を軽減する影響を評価すること。

提案手法

• 著者たちは、既知のコミュニティ構造と真のラベルを持つランダムグラフを生成するために、文脈付き確率的ブロックモデル（CSBM）を用いる。
• ノイズ除去効果（クラス内分散の低減）と混合効果（クラス間距離の増加）を定義・定量化し、GNNの深さの関数として扱う。
• 理論的解析により、混合効果がノイズ除去効果を上回り始める深さを導出し、密なグラフでは$O(\log N / \log \log N)$の閾値であることを示している。
• PPRに基づくGNNへの解析を拡張し、PPRは1層あたりの混合効果を軽減するが、ノイズ除去効果も同時に弱めることが分かった。
• 理論的予測は、合成CSBMグラフおよび実世界のデータセット（Cora、CiteSeer、PubMed）における数値実験で検証された。
• ランダムウォークと対称畳み込みの異なるメッセージパッシング方式におけるノード表現の分散ダイナミクスを分析し、一部のケースでは非単調な挙動を示すことが分かった。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける過剰平滑化が性能に与える影響が支配的になる深さは何か？ その閾値はどのように決定されるか？
• RQ2 ネットワークの深さの関数として、グラフ畳み込みのノイズ除去効果と混合効果の相互作用はどのように働くか？
• RQ3 深層GNNにおける性能低下は、主に過剰平滑化に起因するのか、それとも最適化の困難さが主な交絡要因であるのか？
• RQ4 個人化ページランク（PPR）は過剰平滑化をどの程度軽減できるのか？ また、PPRは深層GNNが標準的なGCNアーキテクチャを上回ることを可能にするか？
• RQ5 なぜ多くのGNNが、漸近的解析がより深いモデルが優れていると示唆するにもかかわらず、浅い深さで最も良い性能を発揮するのか？

主な発見

• 過剰平滑化は、無限層にわたる混合の蓄積によって発生するのではなく、混合効果がノイズ除去効果を上回り始める段階で発生する。密なグラフでは、その深さの閾値は$O(\log N / \log \log N)$である。
• ノイズ除去効果は非常に早く飽和する（数層で完了）が、混合効果は継続的に増大し、深層ネットワークでは性能劣化を引き起こす。
• PPRベースのGNNは1層あたりの混合効果を軽減し、深さに対する耐性を高めるが、依然として浅い深さで最適な性能を発揮し、特定のグラフでは標準GCNを下回る。
• 数値実験により、実際の過剰平滑化は、理論的な過剰平滑化機構に加え、深層GNNにおける最適化の困難さによってさらに悪化することが確認された。
• ランダムウォーク畳み込みではノード表現の分散が深さに従って常に単調に減少するとは限らず、対称畳み込みではそうなっていることから、分散ダイナミクスに構造的依存性があることが示唆された。
• Cora、CiteSeer、PubMedにおける実証的結果から、混合効果とノイズ除去効果の両方が深さとともに増加するが、ノイズ除去効果は早期に飽和し、混合効果は継続的に増大するため、理論的トレードオフが確認された。