[論文レビュー] Understanding Oversquashing in GNNs through the Lens of Effective Resistance

Mitchell Black, Zhengchao Wan+2 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）における過小スケーリングの理論的境界として有効抵抗を導入し、ノード間の有効抵抗が低いほど情報ボトルネックが軽減されることを示している。全有効抵抗を最小化するためのグリーディなリワイヤリングアルゴリズムを提案しており、GNN性能を顕著に向上させ、曲率に基づく手法を上回り、スペクトルギャップに基づく手法と同等の性能を発揮する。

ABSTRACT

Message passing graph neural networks (GNNs) are a popular learning architectures for graph-structured data. However, one problem GNNs experience is oversquashing, where a GNN has difficulty sending information between distant nodes. Understanding and mitigating oversquashing has recently received significant attention from the research community. In this paper, we continue this line of work by analyzing oversquashing through the lens of the effective resistance between nodes in the input graph. Effective resistance intuitively captures the ``strength'' of connection between two nodes by paths in the graph, and has a rich literature spanning many areas of graph theory. We propose to use total effective resistance as a bound of the total amount of oversquashing in a graph and provide theoretical justification for its use. We further develop an algorithm to identify edges to be added to an input graph to minimize the total effective resistance, thereby alleviating oversquashing. We provide empirical evidence of the effectiveness of our total effective resistance based rewiring strategies for improving the performance of GNNs.

研究の動機と目的

• GNNにおける過小スケーリングを、電気回路理論およびスぺクトルグラフ理論の概念である有効抵抗と理論的に結びつけること。
• 全有効抵抗を、グラフ全体における過小スケーリングのグローバルな指標として確立すること。
• 全有効抵抗を最小化するための実用的なリワイヤリングアルゴリズムを開発すること。
• 全抵抗の低減がGNN性能に与える影響を、グラフ分類ベンチマークにおいて実証的に検証すること。

提案手法

• 理論的分析により、GNNにおけるメッセージ伝達がノード対間の有効抵抗の関数によって上界で制限されることを示している。
• 全有効抵抗は、すべての順序なしノード対における有効抵抗の合計として定義され、全過小スケーリングのグローバルな代理指標として機能する。
• 全有効抵抗を最も低減させるエッジを段階的に追加するグリーディなアルゴリズムを提案し、グラフの接続性を向上させている。
• 有効抵抗とラプラシアン行列の関係を活用し、スぺクトルグラフ理論を用いて効率的な計算を実現している。
• GNNの学習前に入力グラフを再接続するためにアルゴリズムを適用し、ボトルネックを緩和するショートカットを生成している。
• 複数のGNNアーキテクチャおよびデータセットにおいて、曲率に基づく（SDRF）およびスペクトルギャップに基づく（FoSR）リワイヤリング手法と比較している。

Figure 1 : Two examples where effective resistance can be easily computed. For vertices $u$ and $v$ connected by several vertex-disjoint paths $p$ , $R_{u,v}=(\sum_{uv\text{-paths }p}\mathrm{length}(p)^{-1})^{-1}$ . Left: $R_{a,b}=6$ , the length of the path. Right: $R_{u,v}=10/9$ .

実験結果

リサーチクエスチョン

• RQ1 有効抵抗は、GNNにおける過小スケーリングの度合いを理論的境界として果たすことができるか？
• RQ2 全有効抵抗は、GNN全体の情報フローおよび性能とどのように関係しているか？
• RQ3 戦略的なエッジ追加による全有効抵抗の最小化は、GNN性能の向上に寄与するか？
• RQ4 SDRF や FoSR といった既存手法と比較して、提案手法の性能とスケーラビリティはいかがなっているか？
• RQ5 GNNの隠れ次元を増やすこととリワイヤリングの間には、トレードオフがあるのか、あるいは補完的関係にあるのか？

主な発見

• 提案されたGTRリワイヤリング手法は、R-GCNおよびR-GINモデルを含む複数のGNNアーキテクチャにおいて、SDRFを上回り、FoSRと同等の性能を発揮する。
• R-GCNでは、GTRはFoSRを顕著に上回り、関係性を扱うGNN（リレーショナルGNN）において、全抵抗の最小化が特に効果的であることが示された。
• 追加するエッジ数に万能な最適値は存在せず、データセットに依存するため、ハイパーパrameterとしてチューニングする必要がある。
• 全有効抵抗の低減とGNNの精度向上の間には相関関係が確認され、過小スケーリング緩和の代理指標としての有効性が裏付けられた。
• リワイヤリングと隠れ次元の増加は補完的戦略であり、両者を併用することで性能向上が得られる。
• 理論的分析により、全有効抵抗はスペクトルギャップよりも過小スケーリングに対してタイトな境界を提供することが確認されたが、両者ともグラフの接続性と関連している。

Figure 2 : The edges $\{a,b\}$ and $\{u,v\}$ have the same Balanced Forman curvature of $\operatorname{Ric}(a,b)=\operatorname{Ric}(u,v)-6/5$ . However, their effective resistance are different ( $R_{a,b}=1$ and $R_{u,v}=3/5$ ). This shows how the curvature only measure local connectivity and does n