[論文レビュー] Graph Neural Networks Do Not Always Oversmooth

Bastian Epping, Alexandre René+2 more|arXiv (Cornell University)|Jan 1, 2024

Neural Networks and Applications被引用数 3

ひとこと要約

この論文は、十分に大きな重み分散で初期化された場合、グラフ畳み込みネットワーク（GCN）は本質的に過剰平滑化しないことを示しており、無限幅極限におけるガウス過程（GP）同等性を用いて非過剰平滑化領域を特定している。フィードフォワードネットワークからGCNへ情報伝達深さを一般化することで、著者らは深層GCNが情報豊かなノード特徴を保持でき、Coraで100層を超える状態を達成できることを示しており、有限サイズのモデルにおける予測を検証している。

ABSTRACT

Graph neural networks (GNNs) have emerged as powerful tools for processing relational data in applications. However, GNNs suffer from the problem of oversmoothing, the property that the features of all nodes exponentially converge to the same vector over layers, prohibiting the design of deep GNNs. In this work we study oversmoothing in graph convolutional networks (GCNs) by using their Gaussian process (GP) equivalence in the limit of infinitely many hidden features. By generalizing methods from conventional deep neural networks (DNNs), we can describe the distribution of features at the output layer of deep GCNs in terms of a GP: as expected, we find that typical parameter choices from the literature lead to oversmoothing. The theory, however, allows us to identify a new, non-oversmoothing phase: if the initial weights of the network have sufficiently large variance, GCNs do not oversmooth, and node features remain informative even at large depth. We demonstrate the validity of this prediction in finite-size GCNs by training a linear classifier on their output. Moreover, using the linearization of the GCN GP, we generalize the concept of propagation depth of information from DNNs to GCNs. This propagation depth diverges at the transition between the oversmoothing and non-oversmoothing phase. We test the predictions of our approach and find good agreement with finite-size GCNs. Initializing GCNs near the transition to the non-oversmoothing phase, we obtain networks which are both deep and expressive.

研究の動機と目的

• GCNにおける過剰平滑化が、特定の初期化条件のもとで避けられるかどうかを調査すること。
• ガウス過程同等性を用いて、全結合DNNにおける情報伝達深さの概念をGCNへ一般化すること。
• 無限大の深さにおいてもノード特徴が情報を持つままの非過剰平滑化領域を特定すること。
• 合成的および実世界のグラフベンチマークを用いて、有限サイズのGCNにおける理論的予測を検証すること。
• 過剰平滑化領域への遷移付近で初期化されたGCNが、100層を超える深さにおいて高い性能を達成できることを示すこと。

提案手法

• GCNの無限幅極限におけるガウス過程（GP）同等性を用いて、層間におけるノード特徴の分布をモデル化する。
• GCNのGPダイナミクスを線形化し、ノードペア間の特徴距離の進化を記述する方程式系を導出する。
• 線形化されたダイナミクスの固有値に基づく安定性解析を定式化し、過剰平滑化と非過剰平滑化領域の遷移を特定する。
• 最大固有値が1を超える逆数として一般化された伝達深さを定義し、相転移点で発散することを示す。
• 平衡状態における特徴距離の数値的評価を通じて、非過剰平滑化が開始する臨界的重み分散σ²_w,critの位置を特定する。
• 文脈的確率的ブロックモデルとCora引用ネットワークを用いて、有限サイズのGCNにおける予測をテストする。

実験結果

リサーチクエスチョン

• RQ1 残差接続や正規化が存在しない状況でも、適切な初期化によってGCNにおける過剰平滑化を回避できるか？
• RQ2 全結合DNNと同様に、GCNにおける情報伝達深さは臨界点で発散するか？
• RQ3 無限大の深さにおいてもノード特徴が明確で情報豊かである非過剰平滑化領域が存在するか？
• RQ4 理論的予測としての相転移は、実世界のグラフ構造を持つ有限サイズのGCNにおいて検証可能か？
• RQ5 シフト演算子の選択が、非過剰平滑化領域の出現にどのように影響するか？

主な発見

• 十分に大きな重み分散で初期化されたGCNは、無限大の深さにおいても特徴距離が有限で非ゼロの値に収束する非過剰平滑化領域に入る。
• Coraデータセットにおける臨界的重み分散σ²_w,crit ≈ 1が特定され、過剰平滑化から非過剰平滑化への遷移を示している。
• 遷移点付近で学習されたGCN GPsは、Coraで100層を超える深さにおいて、元のGCN研究と同等の性能を達成しており、L = 100まで精度が向上した。
• 非過剰平滑化領域では一般化誤差が深さに伴い減少し、100層を超えてすら改善された。
• 伝達深さは相転移点で発散し、GCNにおける任意の深さの情報伝達の可能性を示している。
• 理論的枠組みは、平衡状態における特徴距離が、深層ネットワークであっても元のグラフ構造を情報的に反映していることを予測している。