[論文レビュー] Specformer: Spectral Graph Neural Networks Meet Transformers

Deyu Bo, Chuan Shi+2 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Graph Neural Networks被引用数 16

ひとこと要約

Specformer は、グラフラプラシアン固有値のための Transformer ベースの集合対集合スペクトルフィルタを導入し、学習可能で非局所的なスペクトル畳込みを実現します。これにより、置換不変性を保ちつつ、ノードレベルおよびグラフレベルのタスクで最先端の GNN を上回ります。

ABSTRACT

Spectral graph neural networks (GNNs) learn graph representations via spectral-domain graph convolutions. However, most existing spectral graph filters are scalar-to-scalar functions, i.e., mapping a single eigenvalue to a single filtered value, thus ignoring the global pattern of the spectrum. Furthermore, these filters are often constructed based on some fixed-order polynomials, which have limited expressiveness and flexibility. To tackle these issues, we introduce Specformer, which effectively encodes the set of all eigenvalues and performs self-attention in the spectral domain, leading to a learnable set-to-set spectral filter. We also design a decoder with learnable bases to enable non-local graph convolution. Importantly, Specformer is equivariant to permutation. By stacking multiple Specformer layers, one can build a powerful spectral GNN. On synthetic datasets, we show that our Specformer can better recover ground-truth spectral filters than other spectral GNNs. Extensive experiments of both node-level and graph-level tasks on real-world graph datasets show that our Specformer outperforms state-of-the-art GNNs and learns meaningful spectrum patterns. Code and data are available at https://github.com/bdy9527/Specformer.

研究の動機と目的

• スペクトル GNN におけるスカラー対スカラーのスペクトルフィルタと固定次数多項式基底の限界を動機づける。
• ラプラシアン固有値の全ての大きさと相対差を捉える、トランスフォーマー基盤の集合対集合スペクトルフィルタを開発する。
• 非局所的なグラフ畳込みを可能にする学習可能な基底デコーダを設計する。
• 実用的なグラフ学習タスクのために置換等価性とスケーラビリティを保証する。
• ノードおよびグラフレベルの合成データと実データベース上で優れた性能を示す。

提案手法

• 各固有値を正弦波埋め込み関数で写像し、スペクトルを高次元表現にエンコードする。
• スペクトル領域で固有値間の依存関係を学習するために、標準的な Transformer ブロックを適用する。
• 注意機構ベースのヘッドを用いて複数のスペクトル基底をデコードし新しい固有値を生成し、その後 FFN で学習可能な基底を構築する。
• チャネルごとのスペクトルフィルタを学習可能な基底の組み合わせとして再構成し、残差接続を伴うグラフ畳込みを適用する。
• 学習されたスペクトルフィルタを通じて置換等価性を維持し、非局所的なグラフ畳込みを可能にする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の集合対集合スペクトルフィルタは、全てのラプラシアン固有値の大きさと相対周波数情報の両方を捉えられるだろうか？
• RQ2 学習可能なスペクトル基底は、固定多項式基底よりも表現力が高く柔軟なスペクトルフィルタリングを可能にするか？
• RQ3 Specformer は置換等価性を満たし、ノードおよびグラフレベルのタスクで良好に機能しつつ非局所的なグラフ畳込みが可能か？
• RQ4 合成データと実データセット上で、Specformer は従来の空間 GNN、多項式ベースのスペクトル GNN、グラフトランスフォーマーとどう比較されるか？

主な発見

• Specformer は、合成データ上で固定多項式スペクトル GNN よりも表現力の高いスペクトルフィルタを学習し、真のフィルタを正確に回復する。
• ノードレベルおよびグラフレベルのベンチマークで、Specformer は空間、スペクトル、グラフトランスフォーマーのベースラインを含む最先端のGNNを上回る。
• 本モデルは置換等価性を示し、学習可能なスペクトル基底を通じて非局所的なグラフ畳込みを実現する。
• アブレーション研究は、固有値エンコーディングと注意モジュールが一貫して性能を向上させ、モデルサイズはタスクの難易度とともにスケールすることを示す。
• Specformer は同質性データセットと異質性データセットの両方で高い結果を達成し、特に異質グラフで顕著な改善を示す。