[論文レビュー] A Survey on Oversmoothing in Graph Neural Networks

T. Konstantin Rusch, Michael M. Bronstein+1 more|arXiv (Cornell University)|Mar 20, 2023

Advanced Graph Neural Networks被引用数 80

ひとこと要約

本論文は、GNNにおけるオーバーソーミングの公理的で統一的な定義を提示し、ノード類似度の指数収束を経験的に検証し、緩和戦略をレビューし、連続時間GNNへの拡張を論じる。

ABSTRACT

Node features of graph neural networks (GNNs) tend to become more similar with the increase of the network depth. This effect is known as over-smoothing, which we axiomatically define as the exponential convergence of suitable similarity measures on the node features. Our definition unifies previous approaches and gives rise to new quantitative measures of over-smoothing. Moreover, we empirically demonstrate this behavior for several over-smoothing measures on different graphs (small-, medium-, and large-scale). We also review several approaches for mitigating over-smoothing and empirically test their effectiveness on real-world graph datasets. Through illustrative examples, we demonstrate that mitigating over-smoothing is a necessary but not sufficient condition for building deep GNNs that are expressive on a wide range of graph learning tasks. Finally, we extend our definition of over-smoothing to the rapidly emerging field of continuous-time GNNs.

研究の動機と目的

• 公理ベースの形式的枠組みを用いてover-smoothingを定義する。
• 既存の指標を統一し、MADを指標としての限界を特定する。
• 複数のグラフ上でオーバーソーミング指標の指数収束を経験的に検証する。
• さまざまなアーキテクチャにわたりオーバーソーミングを緩和する手法をレビューし、経験的に検証する。
• オーバーソーミングの概念を連続時間GNNへ拡張し、含意を論じる。

提案手法

• 指数収束に基づくノード類似性とover-smoothingの公理的定義を導入する。
• Dirichletエネルギーを標準的なノード類似性指標として用い、MADのような代替案を議論する。
• 複数グラフ（Texas, Cora, Cornell5）でGCN, GAT, GraphSAGEを用いてオーバーソーミング指標の指数収束を経験的に示す。
• 正規化/正則化、ダイナミクスの変更、残差接続といった緩和戦略をレビュー・分類し、代表的手法（DropEdge, PairNorm, GraphCON, G2, Res-GCN, GCNII）を検証する。
• ニューラルODE/PDEフレームワークを用いて定義を連続時間GNNに拡張し、連続時間のover-smoothingについて論じる。

実験結果

リサーチクエスチョン

• RQ1 GNNsのover-smoothingに対する原理的で統一的な定義とは何か？
• RQ2 どの指標がノード類似性の公理を満たし、指数収束を捉えるか？
• RQ3 緩和手法は表現力を犠牲にすることなく、over-smoothing指標の指数収束を防ぐか？
• RQ4 over-smoothingのダイナミクスは連続時間GNNや関連アーキテクチャへどのように拡張されるか？

主な発見

• オーバーソーミングは、層ごとにノード類似性指標がゼロへ指数収束することによって特徴づけられる。
• Dirichletエネルギーはノード類似性指標の公理を満たし、オーバーソーミング検出にはMADよりも安定である。
• 一般的なGNN（GCN, GAT, GraphSAGE）は実世界グラフでオーバーソーミング指標の指数収束を示す。
• 多くの緩和手法はノード類似性指標の指数収束を防ぐが、慎重に設計されない場合はモデルの表現力を低下させることがある。
• G2は深さをまたいで表現力を保持・向上させつつオーバーソーミングを一意に緩和する。一方、他の手法は類似性指標を維持してもタスク性能を劣化させることがある。
• オーバーソーミングの概念は、時間ベースの指数収束概念を通じて連続時間GNNにも拡張される。