[論文レビュー] Expander Graph Propagation

Andreea Deac, Marc Lackenby+1 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、特定のCayley群SL(2,ℤₙ)としての、構築が容易な拡張グラフを活用する、新たなGNN手法であるExpander Graph Propagation（EGP）を提案する。EGPは線形時間・空間計算量を実現するグローバルかつボトルネックのないメッセージスイーピングを可能にし、アーキテクチャの変更や入力前処理を必要とせずに、OGBベンチマークで最先端の性能向上を達成している。負の曲率を持つ辺を用いても、過小圧縮（oversquashing）を回避する。

ABSTRACT

Deploying graph neural networks (GNNs) on whole-graph classification or regression tasks is known to be challenging: it often requires computing node features that are mindful of both local interactions in their neighbourhood and the global context of the graph structure. GNN architectures that navigate this space need to avoid pathological behaviours, such as bottlenecks and oversquashing, while ideally having linear time and space complexity requirements. In this work, we propose an elegant approach based on propagating information over expander graphs. We leverage an efficient method for constructing expander graphs of a given size, and use this insight to propose the EGP model. We show that EGP is able to address all of the above concerns, while requiring minimal effort to set up, and provide evidence of its empirical utility on relevant graph classification datasets and baselines in the Open Graph Benchmark. Importantly, using expander graphs as a template for message passing necessarily gives rise to negative curvature. While this appears to be counterintuitive in light of recent related work on oversquashing, we theoretically demonstrate that negatively curved edges are likely to be required to obtain scalable message passing without bottlenecks. To the best of our knowledge, this is a previously unstudied result in the context of graph representation learning, and we believe our analysis paves the way to a novel class of scalable methods to counter oversquashing in GNNs.

研究の動機と目的

• 全グラフ分類タスクにおけるグラフニューラルネットワーク（GNN）におけるグローバルな情報伝達の課題に取り組む。
• 深層GNNにおける病理的行動（過小圧縮やボトルネック）を克服しつつ、線形時間・空間計算量を維持する。
• 入力に特化した前処理を必要とせず、既存のGNNアーキテクチャに容易に統合可能な手法を開発する。
• 負の曲率がメッセージスイーピングに与える役割と、過小圧縮との関係を理論的・実験的に調査する。
• 拡張グラフにおける負の曲率を持つ辺が、従来の仮定とは反して過小圧縮を引き起こさないことを示し、スケーラブルな通信に不可欠である可能性を示す。

提案手法

• 特殊線形群SL(2,ℤₙ)のCayley群として、対数的直径を有するスパースかつ4正則な拡張グラフを構築する。これは、事前に効率的に計算可能である。
• 事前に計算された拡張グラフを固定されたメッセージスイーピングテンプレートとして用い、GNN層がノード特徴量を伝搬することでグローバルなコンテキスト集約を実現する。
• モデルのパラメータ数や潜在次元数を変更せずに、標準的なGNNアーキテクチャ（例：GIN）にEGP層を挿入する。
• 特殊線形群に関する理論的結果を活用し、グラフがスパースで高連結であり、かつ低直径であることを保証する。
• 曲率解析を用いて、拡張グラフ内の辺が負の曲率を持つものの、その曲率の大きさが有界であるため、従来の研究で特定された過小圧縮条件を満たさないことを示す。
• Open Graph Benchmark（OGB）を用い、分子性質予測、タンパク質相互作用ネットワーク、コード要約タスクを含む多様なデータセットでEGPを評価する。

実験結果

リサーチクエスチョン

• RQ1 拡張グラフを、二次的計算量を伴わずにグローバルな情報伝達を可能にするスケーラブルな固定メッセージスイーピングテンプレートとして利用可能か？
• RQ2 従来の研究が負の曲率と過小圧縮の関連を示しているにもかかわらず、拡張グラフ内の負の曲率を持つ辺がなぜ過小圧縮を引き起こさないのか？
• RQ3 EGPは、アーキテクチャの変更なしに標準GNNに統合可能であり、グラフ分類タスクにおける性能向上を達成できるか？
• RQ4 拡張グラフを通信バックボーンとして用いることは、ボトルネックを回避し、線形計算量を維持する観点から理論的に正当化されるか？
• RQ5 EGPの実験的性能は、標準GNNや他の過小圧縮緩和手法を上回るのか、実世界のベンチマークで確認できるか？

主な発見

• EGPは、モデルパラメータや潜在次元数を変更せずに、4つのOGBデータセット（ogbg-molhiv (+3.76%)、ogbg-molpcba (+2.78%)、ogbg-ppa (+1.96%)、ogbg-code2 (+0.13%)）で顕著な性能向上を達成した。
• EGP層は、小分子、大規模な構文木、タンパク質-タンパク質相互作用ネットワークを含む多様なグラフタイプにおいて、ベースラインのGINモデルを常に上回る性能を示した。
• 理論的分析により、構築された拡張グラフ内の辺が負の曲率を持つものの、その曲率の大きさは、従来の研究で特定された過小圧縮条件を満たさないことが示された。
• SL(2,ℤₙ)のCayley群は、スパース（|E| = O(|V|)）、4正則、対数的直径を有し、O(log |V|)ホップで効率的なグローバル通信を可能にする。
• EGPは入力に特化した前処理を必要とせず、単純なレイヤ挿入により既存のGNNアーキテクチャにスムーズに統合可能である。
• 実験的結果により、EGPは、拡張グラフのトポロジーを通じたスケーラブルな長距離情報伝達により、深層GNNにおいてもボトルネックや過小圧縮を効果的に緩和することが示された。