[論文レビュー] Graph Neural Networks with Learnable and Optimal Polynomial Bases

Yuhe Guo, Zhewei Wei|arXiv (Cornell University)|Feb 24, 2023

Advanced Graph Neural Networks被引用数 8

ひとこと要約

FavardGNNを導入してFavardの定理に基づき直交多項式基底を学習し、OptBasisGNNでポリnomialグラフフィルタの最適基底を暗黙的に取得する。小規模〜大規模データセットの両方で強力な結果を達成。

ABSTRACT

Polynomial filters, a kind of Graph Neural Networks, typically use a predetermined polynomial basis and learn the coefficients from the training data. It has been observed that the effectiveness of the model is highly dependent on the property of the polynomial basis. Consequently, two natural and fundamental questions arise: Can we learn a suitable polynomial basis from the training data? Can we determine the optimal polynomial basis for a given graph and node features? In this paper, we propose two spectral GNN models that provide positive answers to the questions posed above. First, inspired by Favard's Theorem, we propose the FavardGNN model, which learns a polynomial basis from the space of all possible orthonormal bases. Second, we examine the supposedly unsolvable definition of optimal polynomial basis from Wang & Zhang (2022) and propose a simple model, OptBasisGNN, which computes the optimal basis for a given graph structure and graph signal. Extensive experiments are conducted to demonstrate the effectiveness of our proposed models. Our code is available at https://github.com/yuziGuo/FarOptBasis.

研究の動機と目的

• スペクトルGNNの性能に対する多項式基底の選択が与える影響を調査する。
• Favardの定理を用いて学習可能な正規直交多項式基底を開発する（FavardGNN）。
• 特異分解を伴わずに最適な多項式基底を取得する効率的な手法を提案する（OptBasisGNN）。
• 大規模グラフに対するスケーラブルなOptBasisGNN変種で拡張可能性を評価する。
• 小〜大規模グラフベンチマークでの改善を実証的に検証する。

提案手法

• 直交多項式基底の3項再帰形を導出し、再帰係数（beta, gamma, alpha）を学習してFavardGNN基底を構築する（アルゴリズム1 & 2）。
• Wang & Zhang (2022)に従い最適基底を定義し、OptBasisGNNを実装して対応する多項式を伴う最適ベクトル基底を暗黙的に生成する（アルゴリズム4/5）。
• 直交性を利用して基底間の影響を最小化し、学習済み係数を用いたb(P)を介した効率的フィルタリングを実現する（式(2)）。
• 大規模グラフ向けに特徴伝播と変換を分離するスケーラブルな変種を提供する（セクション4.4）。
• 並列チャネル処理と基底ベクトルのキャッシュの実装ノートとPyTorch風の擬似コードを提供する。

Figure 1 : Convergence rate of minimizing $\frac{1}{2}\|Z-Y\|^{2}_{2}$ on one sample. Sample message : The true filters for this sample are low-pass(Y) / band-reject(Cb) / band-reject(Cr). Legends : ChebII means using Chebyshev polynomials combined with interpolation on chebynodes as in ChebNetII (

実験結果

リサーチクエスチョン

• RQ1 データから適切な多項式基底を学習できるか。
• RQ2 特定のグラフと信号に対して重い固有分解を伴わずに最適な多項式基底を効率的に計算できるか。
• RQ3 FavardGNNとOptBasisGNNは小規模〜大規模のベンチマークで予測性能を向上させるか。
• RQ4 スケーラブルなOptBasisGNNは十億エッジ規模のグラフでベースラインと比較してどのように機能するか。

主な発見

Dataset	|V|	|E|	H(G)	Model	Metric
ogbn-arxiv	169,343	1,166,243	0.66	GPR-GNN	71.78±0.18
ogbn-arxiv	169,343	1,166,243	0.66	ChebNetII	72.32±0.23
ogbn-arxiv	169,343	1,166,243	0.66	OptBasisGNN	72.27±0.15
ogbn-papers100M	111,059,956	1,615,685,872	-	GPR-GNN	65.89±0.35
ogbn-papers100M	111,059,956	1,615,685,872	-	ChebNetII	67.18±0.32
ogbn-papers100M	111,059,956	1,615,685,872	-	OptBasisGNN	67.22±0.15

• FavardGNNは再帰係数を学習可能として取り扱うことで柔軟な正交多項式基底を学習し、複数のデータセットで性能を向上させる。
• OptBasisGNNは最適基底をベクトル基底付きで暗黙的に計算し、O(K|E|)時間計算量と競争力のある精度を達成する。
• 小規模データセット（Chameleon, Squirrel, Actor, Citeseer, Pubmed）ではFavardGNNとOptBasisGNNが多くの強力なベースラインを上回る。
• 大規模データセット（ogbn-arxiv, ogbn-papers100M, Pokec, Wiki）ではスケールアップしたOptBasisGNNが最先端のスペクトル法と同等かそれ以上の性能を示し、特にWikiで顕著な改善を達成。
• マルチチャネルフィルタリングタスクでは、OptBasis（およびFavard）はモノミアル、ベルスタイン、BernNet、ChebNetベースの基底より収束性が優れ、MSEが低い。

Figure 2 : Drop of loss in 10,000 epochs. Left : MSE loss of regression task on one sample. Right : Cross entropy loss of classification problem on the Chameleon dataset. Models based on Monomial basis converge slowly, but stably. while FavardGNNs don’t converge. For the convergence curve for OptBas