[論文レビュー] Leave Graphs Alone: Addressing Over-Squashing without Rewiring

Domenico Tortorella, Alessio Micheli|arXiv (Cornell University)|Dec 13, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文では、グラフ接続性を変更せずに6つの非同型的ノード分類タスクで最先端の性能を達成する、グラフエコー状態ネットワーク（GESNs）を提案する。メッセージスレッディング関数のリプシッツ定数をリザボア半径と入力スケーリングによって明示的に制御することにより、GESNsは過剰圧縮を回避し、グラフ再接続手法と比較して最大16%の精度向上を達成する。これは、更新関数の収縮性が深層GNN性能において鍵要因であることを示している。

ABSTRACT

Recent works have investigated the role of graph bottlenecks in preventing long-range information propagation in message-passing graph neural networks, causing the so-called `over-squashing' phenomenon. As a remedy, graph rewiring mechanisms have been proposed as preprocessing steps. Graph Echo State Networks (GESNs) are a reservoir computing model for graphs, where node embeddings are recursively computed by an untrained message-passing function. In this paper, we show that GESNs can achieve a significantly better accuracy on six heterophilic node classification tasks without altering the graph connectivity, thus suggesting a different route for addressing the over-squashing problem.

研究の動機と目的

• 長距離情報が指数関数的に感度を失うために伝搬に失敗する深層グラフニューラルネットワークにおける過剰圧縮問題に対処すること。
• メッセージスレッディング関数のリプシッツ定数を変更することで、グラフ再接続よりも過剰圧縮をより効果的に軽減できるかどうかを調査すること。
• トレーニングされておらず、教師あり学習も行われないリザボアコンピューティングモデルが、前処理による再接続を伴うか否かの教師あり学習モデルを上回るかどうかを評価すること。
• ノード表現の質が、深さやグラフ構造よりも、メッセージスレッディング関数の収縮性に強く依存することを示すこと。

提案手法

• GESNsは、h_v^(k) = tanh(W_in * x_v + sum_{v' in N(v)} W_hat * h_v'^(k-1)) で定義される再帰的かつトレーニングされていないメッセージスレッディング機構を用いる。初期値は h_v^(0) = 0 である。
• リザボア半径 ρ が再帰的重み行列 W_hat のリプシッツ定数を制御し、収縮性の明示的チューニングを可能にする。
• W_in の入力スケーリングは、バックプロパゲーションによる学習ではなく、ハイパーパramータとして扱われる。
• ノード埋め込みは収束するまで反復的に計算され、最終状態が表現として使用され、メッセージスレッディング関数のトレーニングは行わない。
• ノード分類のため、最終的なリザボア状態上でリッジ回帰の読み出しヘッドをトレーニングする。
• この手法は完全にグラフ再接続を伴わず、元の接続性を維持し、数秒で高速な推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 メッセージスレッディング関数のリプシッツ定数を制御することで、グラフ再接続よりも過剰圧縮をより効果的に軽減できるか？
• RQ2 トレーニングされておらず、教師あり学習も行われないリザボアコンピューティングモデルが、非同型的ノード分類タスクにおいて教師ありGNNを上回るか？
• RQ3 メッセージスレッディング関数の収縮性が、深層GNNにおけるノード表現の質と一般化性能に与える影響は何か？
• RQ4 リザボア半径と入力スケーリングがモデル性能に与える影響は何か？また、バックプロパゲーションなしにこれらを効果的にチューニングできるか？

主な発見

• GESNsは、最良の再接続手法（SDRFおよびDIGL）と比較して平均4–6%の精度向上を達成し、個々のタスクでは最大16%の向上を示し、すべてのベースラインを上回る。
• モデルは、グラフ再接続やメッセージスレッディング関数のトレーニングなしに、6つの非同型的ノード分類ベンチマークで最先端の性能を達成した。
• 十分に大きなリザボア半径 ρ > 1/α が高精度に不可欠であることが示され、リプシッツ定数の制御が過剰圧縮を回避する上で本質的であることが裏付けられた。
• ノード埋め込みは反復回数が増えるにつれて次第に分離可能となり、標準的なGCNとは異なり、崩壊や過剰スムージングを示さない。
• GPU上でモデル全体をトレーニングおよび評価するのに数秒で完了する一方、SDRF再接続には数分から数時間かかるため、計算効率が顕著に優れている。
• 結果から、深層GNN性能においてグラフトポロジーよりも、メッセージスレッディング関数の収縮性（リプシッツ定数によって制御）がより重要な要因であることが示唆された。