[論文レビュー] FoSR: First-order spectral rewiring for addressing oversquashing in GNNs

Kedar Karhadkar, Pradeep Banerjee+1 more|arXiv (Cornell University)|Oct 21, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

FoSRは、スペクトルギャップを最大化することで過小圧縮を軽減する最初の段階のスペクトル再接続手法を提案する。再接続により元のグラフ構造を保持する関係的アーキテクチャを用いることで、過剰平滑化を防ぐ。実験では、REDDIT-BINARY や COLLAB などのデータセットで、既存手法を上回る最先端の結果を達成している。

ABSTRACT

Graph neural networks (GNNs) are able to leverage the structure of graph data by passing messages along the edges of the graph. While this allows GNNs to learn features depending on the graph structure, for certain graph topologies it leads to inefficient information propagation and a problem known as oversquashing. This has recently been linked with the curvature and spectral gap of the graph. On the other hand, adding edges to the message-passing graph can lead to increasingly similar node representations and a problem known as oversmoothing. We propose a computationally efficient algorithm that prevents oversquashing by systematically adding edges to the graph based on spectral expansion. We combine this with a relational architecture, which lets the GNN preserve the original graph structure and provably prevents oversmoothing. We find experimentally that our algorithm outperforms existing graph rewiring methods in several graph classification tasks.

研究の動機と目的

• グラフ構造のボトルネックにより長距離のメッセージパッシングが制限されるGNNにおける過小圧縮問題を解決すること。
• エッジの追加による再接続において生じる過小圧縮と過剰平滑化のトレードオフを克服すること。
• 元のトポロジカル情報の損失を伴わずに、スペクトル拡張を向上させる計算的に効率的な再接続戦略を開発すること。
• 元のエッジと再接続されたエッジを区別できる関係的メッセージパッシング機構を統合することで、過剰平滑化に対する理論的保証を提供すること。
• 標準的なグラフ分類ベンチマークにおいて、最初の段階の最適化によるスペクトルギャップ最大化がGNNの性能向上に寄与することを実証的に検証すること。

提案手法

• FoSRは、グラフのスペクトルギャップを最大化するように反復的にエッジを追加することで、接続性を向上させ、構造的ボトルネックを軽減する。
• スペクトルギャップを目的関数として用い、勾配ベースの更新によりエッジ重みを最適化することで、効率的かつスケーラブルな再接続を実現する。
• 再接続されたエッジに異なるタイプを割り当てることで、メッセージパッシング中に元のエッジと区別できる関係的GNNアーキテクチャを採用する。
• すべての元のエッジを保持し、新しいエッジのみを追加することで、元のグラフ構造を維持し、トポロジカル忠実性を保つ。
• スペクトルギャップはフィードラー値（ラプラシアン行列の2番目に小さい固有値）を用いて計算され、その勾配がエッジ追加の指針として用いられる。
• アルゴリズムは反復的に適用され、各ステップでスペクトルギャップの増加が最大となるエッジ追加が選択される。

実験結果

リサーチクエスチョン

• RQ1 スペクトルギャップの最初の段階の最適化は、モデル表現力に影響を与えず、GNNにおける過小圧縮を効果的に軽減できるか？
• RQ2 スペクトル拡張を向上させるためにエッジを追加することは、グラフ分類タスクにおける一般化性能の向上に寄与するか？
• RQ3 顕著なグラフ再接続が行われた場合、関係的GNNアーキテクチャは過剰平滑化を防げるか？
• RQ4 SDRF や G-RLEF といった既存の再接続手法と比較して、FoSRは多様なグラフデータセットにおいて性能と頑健性に優れているか？
• RQ5 スペクトルギャップの最大化は、GNNの学習ダイナミクスと収束性にどのような影響を与えるか？

主な発見

• REDDIT-BINARY データセットでは、FoSRがR-GCNを用いて76.590±0.531%のテスト精度を達成し、SDRF（58.620±0.647%）とベースライン（49.850±0.653%）を上回った。
• COLLAB データセットでは、FoSRがR-GCNを用いて70.650±0.482%の精度を達成し、ベースライン（33.602±1.047%）とSDRF（67.990±0.386%）を顕著に上回った。
• GINアーキテクチャでは、FoSRがREDDIT-BINARYで89.665±0.416%の精度を達成し、次に良い手法（SDRF：86.825±0.523%）とベースライン（86.785±1.056%）を上回った。
• PROTEINS データセットでは、FoSRがR-GINを用いて74.670±0.692%の精度を達成し、SDRF（70.696±0.815%）とベースライン（70.500±0.809%）を上回った。
• FoSRは、R-GCN、GIN、R-GINのすべてのテストされたGNNアーキテクチャおよびデータセットで一貫して性能を向上させ、頑健性と一般化能力を示した。
• 各再接続反復においてスペクトルギャップが増加し、その増加とトレーニング精度の向上が相関していた。これにより、本手法の設計原理が妥当であることが裏付けられた。