[論文レビュー] How Powerful are Spectral Graph Neural Networks

Xiyuan Wang, Muhan Zhang|arXiv (Cornell University)|May 23, 2022

Advanced Graph Neural Networks被引用数 36

ひとこと要約

論文はスペクトル GNN の表現力を分析し、線形スペクトル GNN が穏やかな条件下で普遍性を持てることを示し、正交 Jacobi 基底を用いた JacobiConv を導入し、非線形性なしでも強い実証性能を示す。

ABSTRACT

Spectral Graph Neural Network is a kind of Graph Neural Network (GNN) based on graph signal filters. Some models able to learn arbitrary spectral filters have emerged recently. However, few works analyze the expressive power of spectral GNNs. This paper studies spectral GNNs' expressive power theoretically. We first prove that even spectral GNNs without nonlinearity can produce arbitrary graph signals and give two conditions for reaching universality. They are: 1) no multiple eigenvalues of graph Laplacian, and 2) no missing frequency components in node features. We also establish a connection between the expressive power of spectral GNNs and Graph Isomorphism (GI) testing, the latter of which is often used to characterize spatial GNNs' expressive power. Moreover, we study the difference in empirical performance among different spectral GNNs with the same expressive power from an optimization perspective, and motivate the use of an orthogonal basis whose weight function corresponds to the graph signal density in the spectrum. Inspired by the analysis, we propose JacobiConv, which uses Jacobi basis due to its orthogonality and flexibility to adapt to a wide range of weight functions. JacobiConv deserts nonlinearity while outperforming all baselines on both synthetic and real-world datasets.

研究の動機と目的

• スペクトル GNN の理論的表現力を評価する，包括非線形性なしでの普遍性の条件を含む。
• スペクトル GNN の表現力をグラフ同型性と WL テストに結びつける。
• スペクトル GNN における基底選択が最適化と収束に与える影響を調査する。
• Jacobi 基底と多項係数分解 (Polynomial Coefficient Decomposition, PCD) を用いて訓練と性能を向上させる JacobiConv を提案する。
• 合成データと実世界グラフ上で JacobiConv の有効性を実証的に示す。

提案手法

• 線形 GNN を Z = g(L_hat) X W として定式化し、普遍性を以下の三条件の下で分析する：繰り返しのないラプラシアン固有値、欠落する周波数成分がない、出力が一次元である。
• これらの条件の下で線形 GNN の普遍性を証明し、それをグラフ同型性と 1-WL テストに関連づける。
• モノマル、チェビシェフ、バースティン、Jacobi の多項式基底をヘッセ行列ベースの最適化で比較し、グラフ信号の密度で重み付けされた直交 Jacobi 基底の利点を主張する。
• フィルターに Jacobi 基底を用い、出力次元ごとにフィルターをサポートし、最適化のために PCD を採用する JacobiConv を導入する。
• 再帰関係を用いた効率的な Jacobi 基底計算を詳述し、PCD が係数学習を安定化させる様子を示す。

実験結果

リサーチクエスチョン

• RQ1 固定グラフ上のノードレベル予測に対して線形スペクトル GNN が普遍近似を実現できる条件は何か。
• RQ2 グラフラプラシアンのスペクトルとノード信号周波数分布は表現力と学習ダイナミクスにどのように影響するか。
• RQ3 スペクトル GNN において非線形性を省略しても性能を損なわず、基底選択が最適化に果たす役割は何か。
• RQ4 Jacobi 基底は実践的に他の基底よりも良いのか、PCD は訓練にどのように影響するか。
• RQ5 スペクトル GNN の表現力とグラフ同型性 / 1-WL テストの関係は何か。

主な発見

• ノード出力が一次元の場合、固有値が複数存在せず周波数成分がすべて存在すれば線形 GNN は普遍的である。
• 複数の固有値が存在しないことと周波数成分の欠落がないことは、線形 GNN の表現力を 1-WL の識別性と整合させ、スペクトル GNN と空間 GNN の分析を結ぶ。
• 基底の中で、適切な重み関数を持つ Jacobi 多項式は、モノマル、チェビシェフ、 Bernstein 基底よりも収束を早め、最適化特性が良好である。
• JacobiConv は Jacobi 基底と PCD を用いる非線形なしのスペクトル GNN で、合成フィルター学習タスクで損失を低減し、10 セットの実データセットでベースラインを上回る。
• 実証的な結果は、 JacobiConv が実世界データセットで非線形ベースラインに匹敵するまたはそれを上回る一方、線形モデルを使用していることを示す。