[論文レビュー] Understanding over-squashing and bottlenecks on graphs via curvature

Jake Topping, Francesco Di Giovanni+3 more|arXiv (Cornell University)|Nov 29, 2021

Topological and Geometric Data Analysis参考文献 57被引用数 34

ひとこと要約

この論文は新しいエッジベースのBalanced Forman曲率を導入し、グラフのボトルネックを定量化し、負の曲率エッジがGNNの過度のスクワッシュを引き起こすことを証明し、それを緩和する曲率誘導SDRFグラフリワイヤリングを提案する。

ABSTRACT

Most graph neural networks (GNNs) use the message passing paradigm, in which node features are propagated on the input graph. Recent works pointed to the distortion of information flowing from distant nodes as a factor limiting the efficiency of message passing for tasks relying on long-distance interactions. This phenomenon, referred to as 'over-squashing', has been heuristically attributed to graph bottlenecks where the number of $k$-hop neighbors grows rapidly with $k$. We provide a precise description of the over-squashing phenomenon in GNNs and analyze how it arises from bottlenecks in the graph. For this purpose, we introduce a new edge-based combinatorial curvature and prove that negatively curved edges are responsible for the over-squashing issue. We also propose and experimentally test a curvature-based graph rewiring method to alleviate the over-squashing.

研究の動機と目的

• GNNにおける過度のスクワッシュを精密な幾何学的記述で説明し、それをグラフのボトルネックに結びつける。
• メッセージパッシングのボトルネックを評価・説明する、計算可能なエッジベースの曲率（Balanced Forman曲率）を導入する。
• 負の曲率を持つエッジがボトルネックと過度の圧縮を推進することを示す。
• 曲率主導のグラフリワイヤリング（Stochastic Discrete Ricci Flow）を提案・評価し、ボトルネックを緩和する。
• 曲率ベースのリワイヤリングを拡散ベースの手法と比較し、トポロジーの保存性の向上を実証する。

提案手法

• ノード表現のヤコビ行列を定義して過度のスクワッシュを定量化し、それを拡張正規化隣接行列のべき乗と関連付ける。
• Balanced Forman曲率 Ric(i,j) を局所的で計算可能なエッジ曲率として導入し、Ric(i,j) > -2 を満たし Ric(i,j) ≤ κ(i,j)（Ollivier曲率）を証明する。
• 負の曲率を持つエッジが横断的情報伝播を妨げるボトルネックを生じさせることを証明する（定理 4）。
• 曲率とボトルネックをチェーア定数 h_G およびスペクトルギャップ λ1 で結びつける（命題 5）。
• グラフ編集距離の上限内で、負の曲率エッジを外科的に改変し、（任意で）正の曲率エッジを除去する Stochastic Discrete Ricci Flow（SDRF）を提案する。
• SDRF を拡散ベースのリワイヤリング（DIGL/PPR）と比較し、トポロジーと同型性依存性能への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 What graph topological features drive over-squashing in message-passing neural networks?
• RQ2 Can a discrete curvature notion on edges (Balanced Forman curvature) detect bottlenecks responsible for over-squashing?
• RQ3 Does negatively curved edge structure causally induce bottlenecks that impede long-range information flow in GNNs?
• RQ4 Can curvature-guided rewiring (SDRF) reduce bottlenecks more effectively than diffusion-based methods without heavy graph modification?
• RQ5 How do curvature-based rewiring methods influence graph topology preservation and performance across datasets with varying homophily?

主な発見

• Negatively curved edges are identified as primary contributors to bottlenecks and over-squashing in GNNs (Theorem 4).
• Balanced Forman curvature provides a computable lower bound to Ollivier curvature and characterizes local edge geometry; Ric(i,j) > -2 generally.
• There is a theoretical link between curvature and the Cheeger constant, implying positive curvature bounds can control the spectral gap and bottleneck severity (Proposition 5).
• SDRF (Stochastic Discrete Ricci Flow) surgically targets negatively curved edges to alleviate bottlenecks while preserving graph topology better than diffusion-based rewiring.
• Experimentally, SDRF improves node classification accuracy across nine datasets, especially on low-homophily graphs, and preserves degree distributions closer to the original than DIGL.
• Curvature-based rewiring shows superior topology preservation (smaller graph-edit impact) compared to random-walk diffusion-based rewiring while achieving competitive or better performance.