[論文レビュー] How does over-squashing affect the power of GNNs?

Francesco Di Giovanni, T. Konstantin Rusch+5 more|arXiv (Cornell University)|Jun 6, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、ノードペア間の特徴量混合を分析することで、MPNNにおける過剰圧縮の新しい定量的測度を導入し、それを遷移時間によってグラフのトポロジーと結びつける。高 commute 時間のノードペアでは、十分な特徴量相互作用を達成するためには現実的でないほど深く広いMPNNが必要になることが示され、長距離タスクにおけるMPNNの表現力の根本的限界が確立される。

ABSTRACT

Graph Neural Networks (GNNs) are the state-of-the-art model for machine learning on graph-structured data. The most popular class of GNNs operate by exchanging information between adjacent nodes, and are known as Message Passing Neural Networks (MPNNs). Given their widespread use, understanding the expressive power of MPNNs is a key question. However, existing results typically consider settings with uninformative node features. In this paper, we provide a rigorous analysis to determine which function classes of node features can be learned by an MPNN of a given capacity. We do so by measuring the level of pairwise interactions between nodes that MPNNs allow for. This measure provides a novel quantitative characterization of the so-called over-squashing effect, which is observed to occur when a large volume of messages is aggregated into fixed-size vectors. Using our measure, we prove that, to guarantee sufficient communication between pairs of nodes, the capacity of the MPNN must be large enough, depending on properties of the input graph structure, such as commute times. For many relevant scenarios, our analysis results in impossibility statements in practice, showing that over-squashing hinders the expressive power of MPNNs. We validate our theoretical findings through extensive controlled experiments and ablation studies.

研究の動機と目的

• 長距離ノード相互作用を含む関数を学習する際、過剰圧縮がMPNNの表現力にどのように制限を与えるかを理解すること。
• ノードペア間の特徴量混合の程度を捉える、過剰圧縮の定量的測度を構築すること。
• 高混合特徴量を持つノードペアの間で高い commute 時間を示す関数を学習する際、実用的な容量を持つMPNNでは理論的に不可能な結果を確立すること。
• 幾何的グラフおよび点群上の等長性MPNNに対しても分析を拡張し、標準的グラフを超えた理論の適用可能性を示すこと。
• 多様なMPNNアーキテクチャを用いた制御実験を通じて、理論を検証すること。訓練誤差と過剰圧縮測度を測定する。

提案手法

• ノードペア間の特徴量混合を、MPNNのメッセージパッシングダイナミクスによって誘発される相互作用の大きさとして定義する測度を提案する。
• MPNNのヤコビアンおよびスペクトル特性を用いて、特徴量混合をノード間のグラフの commute 時間と関連付ける。
• 高 commute 時間を示すノードペア間で十分な混合を達成するために必要なMPNNの深さおよび容量の下界を導出する。
• 過剰圧縮による情報損失の度合いを定量化するため、正規化された過剰圧縮測度 $\widetilde{\mathsf{OSQ}}$ を導入する。
• 効率的な有効抵抗および commute 時間の計算のため、変更されたラプラシアン行列のムーア・ペネローズ逆行列を用いる。
• 合成ZINCデータセット上でのアブレーションスタディを通じて理論的予測を検証し、GCN、GIN、GraphSAGE、GatedGCNモデルの各々で訓練MAEと $\widetilde{\mathsf{OSQ}}$ を測定する。

実験結果

リサーチクエスチョン

• RQ1 過剰圧縮は、遠く離れたノード間で強い特徴量相互作用を必要とする関数を学習するMPNNの能力をどのように制限するか？
• RQ2 過剰圧縮を、特にノードペア間の commute 時間を含むグラフトポロジーの観点から定量化できるか？
• RQ3 高 commute 時間を示すノードペア間で十分な混合を達成するために、MPNNの最小深度または容量はどの程度か？
• RQ4 提案された過剰圧縮測度は、実際の長距離タスクにおけるモデル性能と相関するか？
• RQ5 理論は幾何的グラフおよび点群上の等長性MPNNにどのように拡張できるか？

主な発見

• 容量が制限されたMPNNでは、大規模な commute 時間を持つノードペアからの一次的または二次的高混合特徴量を必要とするノードレベル関数を学習できない。
• 必要な層数 $m$ は、$\frac{\tau(v,u)}{4c_2}$ に比例して少なくとも増加する。ここで $\tau(v,u)$ はノード $v$ と $u$ 間の commute 時間であり、グラフトポロジーに直接依存することが示された。
• 実験的結果では、訓練MAEが高 commute 時間の分位数とともに増加し、層数が増えると減少することが確認され、理論的トレードオフが裏付けられた。
• 過剰圧縮測度 $\widetilde{\mathsf{OSQ}}$ は高 commute 時間の分位数とともに増加し、MPNNの深さが増えると減少する傾向を示し、理論的予測が妥当であることが検証された。
• この分析は幾何的グラフに対しても成り立ち、点群上の等長性MPNNに対しても拡張可能であり、標準的グラフを超えた広範な適用可能性を示している。
• 本研究は根本的な限界を明らかにした：高径路またはボトルネック構造を持つ多くの現実世界のグラフでは、実用的なサイズのMPNNでは長距離タスクに十分な特徴量混合を達成できない。