[論文レビュー] On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology

Francesco Di Giovanni, Lorenzo Giusti+4 more|arXiv (Cornell University)|Feb 6, 2023

Advanced Memory and Neural Computing被引用数 31

ひとこと要約

この論文は、MPNN における over-squashing の理論分析を提供し、幅が問題を緩和できる可能性がある一方で一般化コストが伴うこと、深さは一般には役立たず勾配消失を招くこと、そしてグラフのトポロジー（特に commute time）が over-squashing を支配的に影響する要因であることを示しています。

ABSTRACT

Message Passing Neural Networks (MPNNs) are instances of Graph Neural Networks that leverage the graph to send messages over the edges. This inductive bias leads to a phenomenon known as over-squashing, where a node feature is insensitive to information contained at distant nodes. Despite recent methods introduced to mitigate this issue, an understanding of the causes for over-squashing and of possible solutions are lacking. In this theoretical work, we prove that: (i) Neural network width can mitigate over-squashing, but at the cost of making the whole network more sensitive; (ii) Conversely, depth cannot help mitigate over-squashing: increasing the number of layers leads to over-squashing being dominated by vanishing gradients; (iii) The graph topology plays the greatest role, since over-squashing occurs between nodes at high commute (access) time. Our analysis provides a unified framework to study different recent methods introduced to cope with over-squashing and serves as a justification for a class of methods that fall under graph rewiring.

研究の動機と目的

• 幅が over-squashing に与える影響と一般化とのトレードオフを理解する。
• 深さの増加が over-squashing を緩和するかを調査し、トレーニングを悪化させる領域を特定する。
• 局所的曲率境界を超えて、グラフのトポロジーとスペクトルが over-squashing に与える影響を分析する。
• 空間的およびスペクトル的再配線手法を over-squashing に関連づける統一的枠組みを提供する。
• グラフ再配線アプローチを over-squashing の緩和手段として理論的正当化を提供する。

提案手法

• MPNN の高次元ノード特徴量に感度分析を拡張し、幅パラメータ p を導入する。
• Study MPNN dynamics via Jacobian bounds: ||∂h_v^(m)/∂h_u^(0)||_L1 ≤ (c_sigma p w)^m (S_r,a^m)_{vu}.
• トポロジー誘起の項が距離とともに減衰する場合、幅が over-squashing を緩和できることを示す。
• 浅い-直径領域では遠くのノード間で over-squashing が生じ、深い領域では勾配が消失する。
• アクセス時間、コミュート時間、Cheeger関連のスペクトル特性を通じて、トポロジーと over-squashing を関連づける。
• Jacobians の感度とグラフウォークを結びつけるトポロジー主導の over-squashing の条件を導出する（定理 4.1）、およびスペクトルノルム制約下での勾配消失の重さを示す（定理 4.2）。
• 構造再配線（空間的およびスペクトル的）を topological/spectral 指標を介して over-squashing の低減と結びつける枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 幅を増やすと over-squashing を緩和するか、一般化にはどのようなコストがかかるか？
• RQ2 深いネットワークは over-squashing を緩和できるか、あるいは勾配消失や他の欠点を招くか？
• RQ3 グラフのトポロジー（コミュートタイムやスペクトルを含む）が、局所的曲率の議論を超えて over-squashing にどう影響するか？
• RQ4 空間的およびスペクトル的再配線戦略は一貫して over-squashing を緩和するか、単一の枠組みで統一できるか？
• RQ5 遠くのノード間の相互作用に対して、Jacobian-based 感度指標が over-squashing の発生を予測する条件は何か？

主な発見

• 幅はモデル容量と Lipschitz 関連因子を増やすことで over-squashing を緩和するが、一般化を害する可能性がある。
• 深さは一般に over-squashing を修正せず、m がグラフ直径と同程度のとき遠くのノード間の相互作用で過剰なスクイーアを生じ、m が大きいと勾配が消失する。
• トポロジーは最小次数とウォーク数を介して over-squashing が生じる距離を強く支配し、曲率の考慮よりも重要な場合が多い。
• over-squashing はノード間のアクセス時間と相関し、コミュート時間/有効抵抗の枠組みが空間的およびスペクトル的再配線手法の有効性を説明する。
• 深部領域では特定のスペクトルノルム境界の下で層数とともに勾配が指数的に減衰し、長距離依存に対する深い MPNN の根本的な制約を示す。
• 本研究は、空間的およびスペクトル的な再配線手法のさまざまな解釈を、グラフのトポロジーとスペクトルに結びつく緩和因子として統一的に解釈する。