[論文レビュー] Demystifying Oversmoothing in Attention-Based Graph Neural Networks

Xinyi Wu, Amir Ajorlou+2 more|arXiv (Cornell University)|May 25, 2023

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

注意機構ベースの GNN は過平滑化を防げないことを証明する。ノード表現は深さが増すにつれて指数的に共通ベクトルへ収束し、非線形時変動ダイナミクス系と joint spectral radius 分析により説明される。

ABSTRACT

Oversmoothing in Graph Neural Networks (GNNs) refers to the phenomenon where increasing network depth leads to homogeneous node representations. While previous work has established that Graph Convolutional Networks (GCNs) exponentially lose expressive power, it remains controversial whether the graph attention mechanism can mitigate oversmoothing. In this work, we provide a definitive answer to this question through a rigorous mathematical analysis, by viewing attention-based GNNs as nonlinear time-varying dynamical systems and incorporating tools and techniques from the theory of products of inhomogeneous matrices and the joint spectral radius. We establish that, contrary to popular belief, the graph attention mechanism cannot prevent oversmoothing and loses expressive power exponentially. The proposed framework extends the existing results on oversmoothing for symmetric GCNs to a significantly broader class of GNN models, including random walk GCNs, Graph Attention Networks (GATs) and (graph) transformers. In particular, our analysis accounts for asymmetric, state-dependent and time-varying aggregation operators and a wide range of common nonlinear activation functions, such as ReLU, LeakyReLU, GELU and SiLU.

研究の動機と目的

• 深層の注意ベースGNNにおける過平滑化問題を動機づけ、形式化する。
• 注意機構が対称的な GCN と比較して過平滑化を防げるかを示す。
• 多層注意を分析する非線形時変動ダイナミクス系フレームワークを開発する。
• joint spectral radius 理論を用いて共通表現への指数収束を確立する。

提案手法

• Attention-based GNNs を layer-wise 更新 X^{(t+1)} = σ(P^{(t)} X^{(t)} W^{(t)}) という非線形時変動ダイナミクス系としてモデル化する。
• P^{(t)} を状態依存の集約演算子として扱い、不均一行列の積と joint spectral radius を用いて長期挙動を分析する。
• ノード類似度指標 μ(X) を導入して過平滑化を定量化し、一般条件下でその指数減衰を証明する。
• 定義された集合内の無限積の遍歴性（エルゴード性）を証明し、ランク1の同一行構造への収束を確立する。
• 射影 B を活用して注意ダイナミクスを縮約した (N-1) 次元系と結びつけ、Hilbert 射影距離を用いて解析する。
• 線形および特定の非線形活性化（ReLU、LeakyReLU、GELU、SiLU）に対して指数収束が成り立つ条件を提供する。

実験結果

リサーチクエスチョン

• RQ1 注意機構を持つ GNN（GAT や graph transformer を含む）は深さが増すにつれて本質的に過平滑化を緩和するか？
• RQ2 一般的な非線形・時変動ダイナミクス系フレームワークは非対称・状態依存の集約全体で観察される挙動を説明できるか？
• RQ3 注意ベース GNN の過平滑化の速度はどの程度で、対称 GCN と比較してどうか？
• RQ4 どの活性化関数の下で指数収束保証が成り立つか？
• RQ5 多層注意アーキテクチャにおける長期的収束を joint spectral radius はどう特徴づけるか？

主な発見

• 注意機構を持つ GNN では深さが増すにつれて過平滑化が指数的に発生することを示し、未解決の問題に否定的な結論を与える。
• 注意機構は層間の集約演算子の結合構造を根本的に変えることができない。
• 指数収束速度は joint spectral radius 分析を用いることで、線形および特定の非線形活性化に対して確立できる。
• GAT は同じ深さで GCN より過平滑化が遅い可能性があり、有限深の利点を示唆する。
• ReLU、LeakyReLU、GELU、SiLU を含む広範な活性化関数と、非対称・状態依存の集約に対しても結論が成立する。