[論文レビュー] From Local to Global: Spectral-Inspired Graph Neural Networks

Ningyuan Huang, Soledad Villar+5 more|arXiv (Cornell University)|Sep 24, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、メッセージパッシンググラフニューラルネットワーク（MPNN）向けに、スペクトルに基づいた正規化手法であるPowerEmbedを提案する。この手法により、グラフ演算子の上位k個の固有ベクトルを表現可能となり、グローバルなスペクトル情報を捉えつつ、過剰な平滑化や過剰な圧縮を回避できる。インセプション型アーキテクチャにPowerEmbedを統合することで、計算複雑性を増加させることなく、同型性と異型性の両方のグラフで最先端の性能を達成し、とくに長距離依存関係の学習において優れた性能を発揮する。

ABSTRACT

Graph Neural Networks (GNNs) are powerful deep learning methods for Non-Euclidean data. Popular GNNs are message-passing algorithms (MPNNs) that aggregate and combine signals in a local graph neighborhood. However, shallow MPNNs tend to miss long-range signals and perform poorly on some heterophilous graphs, while deep MPNNs can suffer from issues like over-smoothing or over-squashing. To mitigate such issues, existing works typically borrow normalization techniques from training neural networks on Euclidean data or modify the graph structures. Yet these approaches are not well-understood theoretically and could increase the overall computational complexity. In this work, we draw inspirations from spectral graph embedding and propose $ exttt{PowerEmbed}$ -- a simple layer-wise normalization technique to boost MPNNs. We show $ exttt{PowerEmbed}$ can provably express the top-$k$ leading eigenvectors of the graph operator, which prevents over-smoothing and is agnostic to the graph topology; meanwhile, it produces a list of representations ranging from local features to global signals, which avoids over-squashing. We apply $ exttt{PowerEmbed}$ in a wide range of simulated and real graphs and demonstrate its competitive performance, particularly for heterophilous graphs.

研究の動機と目的

• 浅いおよび深いMPNNの限界、すなわち長距離信号の欠落、過剰な平滑化や過剰な圧縮の問題を解消すること。
• 理論的裏付けがあり、計算的にも効率的な方法で、局所的なMPNNにグローバルなスペクトル情報を統合すること。
• グラフのトポロジーに依存しない正規化手法を開発し、モデルがグラフ演算子の上位k個の固有ベクトルを表現可能にすること。
• 従来のMPNNがしばしば性能を発揮しない異型性グラフでの性能向上を図ること。
• 局所的なメッセージパッシングとグローバルなスペクトル表現を統合する、シンプルでありながら強力な手法を提供すること。

提案手法

• グラフ演算子の上位k個の固有ベクトルを近似可能にするために、各層における隠れ状態のl2ノルムの逆数でノード表現をスケーリングする、レイヤーワイズの正規化手順であるPowerEmbedを提案する。
• 異なる層からの特徴を統合するマルチスケールのインセプション型アーキテクチャにPowerEmbedを統合し、局所的およびグローバル表現の間の補間を可能にする。
• 正規化された表現を用いることで、局所的な近隣信号とグローバルなスペクトル構造を両方保持し、過剰な平滑化や過剰な圧縮を回避する。
• 確率的ブロックモデルやCora、Citeseer、Photoなどのベンチマークデータセットを含む、合成的および実世界のグラフに本手法を適用する。
• 理論的に、PowerEmbedがグラフトポロジーに依存せず、グラフ演算子の上位k個の主固有ベクトルを明確に表現可能であることを示す。
• スペクトル分解の洞察を活用して、グラフ構造に対して不変で、同型性および異型性の両設定においても頑健な正規化の設計を支援する。

実験結果

リサーチクエスチョン

• RQ1 MPNNにおける単純な正規化手法が、グラフ演算子の上位k個の固有ベクトルをモデルが表現可能にするか。
• RQ2 PowerEmbedによるグローバルスペクトル情報の統合が、MPNNが通常性能を発揮しにくい異型性グラフでの性能向上に寄与するか。
• RQ3 PowerEmbedが計算複雑性を増加させることなく、深層GNNにおける過剰な平滑化や過剰な圧縮を防止できるか。
• RQ4 インセプション型アーキテクチャを介して局所的メッセージパッシングとグローバルスペクトル情報の組み合わせが、表現品質にどのように影響するか。
• RQ5 提案手法が、スパarsなグラフおよび密なグラフを含む、さまざまなグラフトポロジーに対して頑健であるか。

主な発見

• PowerEmbedにより、MPNNはグラフ演算子の上位k個の主固有ベクトルを理論的に保証して表現可能となり、グローバル構造を捉える理論的基盤が得られる。
• CoraやCiteseerといった同型性グラフでは、PowerEmbedは競争力のある精度を達成し、それぞれ81.69% ± 0.50、69.67% ± 0.63を記録。ベースラインMPNNおよびASEやCov(X)といったスペクトルベースラインを上回る。
• 異型性グラフであるPhotoおよびComputersデータセットでは、10イテレーションでPowerEmbedが93.84% ± 0.17および90.34% ± 0.22の精度を達成。標準的なGCNやGATを著しく上回る。
• インセプションベースのバリエーション（SGC(Incep)-10）では、Photoで94.65% ± 0.18、Computersで90.61% ± 0.16の精度を達成し、局所的およびグローバル信号の統合の有効性を示す。
• ランダムウォークまたはラプラシアン正規化を用いたPowerEmbed（Power(RW)-10、Power(Lap)-10）は、すべてのデータセットで標準MPNNおよびベースラインGNNを上回る性能を一貫して改善。
• 本手法は計算的に効率的であり、正規化ステップ以外にアーキテクチャの変更を必要とせず、既存のGNNフレームワークへの容易な統合が可能である。