[논문 리뷰] Graph Neural Networks with Learnable and Optimal Polynomial Bases

Yuhe Guo, Zhewei Wei|arXiv (Cornell University)|2023. 02. 24.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

Favard의 정리에 따라 직교 다항 기반을 학습하는 FavardGNN과 다항 그래프 필터를 위한 최적의 기반을 암시적으로 얻는 OptBasisGNN을 도입하여 작은 규모에서 큰 규모까지 강력한 성능을 달성한다.

ABSTRACT

Polynomial filters, a kind of Graph Neural Networks, typically use a predetermined polynomial basis and learn the coefficients from the training data. It has been observed that the effectiveness of the model is highly dependent on the property of the polynomial basis. Consequently, two natural and fundamental questions arise: Can we learn a suitable polynomial basis from the training data? Can we determine the optimal polynomial basis for a given graph and node features? In this paper, we propose two spectral GNN models that provide positive answers to the questions posed above. First, inspired by Favard's Theorem, we propose the FavardGNN model, which learns a polynomial basis from the space of all possible orthonormal bases. Second, we examine the supposedly unsolvable definition of optimal polynomial basis from Wang & Zhang (2022) and propose a simple model, OptBasisGNN, which computes the optimal basis for a given graph structure and graph signal. Extensive experiments are conducted to demonstrate the effectiveness of our proposed models. Our code is available at https://github.com/yuziGuo/FarOptBasis.

연구 동기 및 목표

• 다항식 기반의 선택이 스펙트럴 GNN 성능에 어떤 영향을 미치는지 조사한다.
• Favard의 정리(Favard’s theorem)를 이용한 학습 가능한 직교 다항 기반(FavardGNN)을 개발한다.
• 고유분해 없이 최적 다항 기반을 얻는 효율적인 방법(OptBasisGNN)을 제안한다.
• 확장 가능한 OptBasisGNN 변형을 통해 대규모 그래프에 대한 확장성을 평가한다.
• 작은 규모에서 큰 규모의 그래프 벤치마크에 대한 개선을 실험적으로 검증한다.

제안 방법

• 직교 다항 기반에 대한 3항 점근식(삼항 재발 형태)을 도출하고 재발 계수(beta, gamma, alpha)를 학습하여 FavardGNN 기반을 구성한다(Algorithm 1 & 2).
• Wang & Zhang(2022)에 따라 최적 기반을 정의하고, 해당 벡터 기반과 동반 다항식을 암시적으로 산출하는 OptBasisGNN을 구현한다(Algorithm 4/5).
• 직교성을 활용하여 교차 기반 영향력을 최소화하고 학습된 계수로 구성된 b(P)로 효율적 필터링을 가능하게 한다(Equation (2)).
• 대규모 그래프에 대해 특징 전파와 변환을 분리하는 확장 가능한 변형을 제공한다(Section 4.4).
• 병렬 채널 처리 및 기본 벡터 캐싱을 위한 PyTorch 스타일 의사코드 및 구현 노트를 제공한다.

Figure 1 : Convergence rate of minimizing $\frac{1}{2}\|Z-Y\|^{2}_{2}$ on one sample. Sample message : The true filters for this sample are low-pass(Y) / band-reject(Cb) / band-reject(Cr). Legends : ChebII means using Chebyshev polynomials combined with interpolation on chebynodes as in ChebNetII (

실험 결과

연구 질문

• RQ1 사전에 정의된 기반을 고정하는 대신 데이터를 통해 적합한 다항식 기반을 학습할 수 있는가?
• RQ2 무거운 고유분해 없이 주어진 그래프와 신호에 대해 최적 다항 기반을 효율적으로 계산할 수 있는가?
• RQ3 FavardGNN과 OptBasisGNN가 작은 규모와 큰 규모의 그래프 벤치마크에서 예측 성능을 향상시키는가?
• RQ4 십억 개 에지 그래프에서 확장 가능한 OptBasisGNN의 성능은 벤치마크 대비 어떤가?

주요 결과

데이터세트	|V|	|E|	H(G)	모델	지표
ogbn-arxiv	169,343	1,166,243	0.66	GPR-GNN	71.78±0.18
ogbn-arxiv	169,343	1,166,243	0.66	ChebNetII	72.32±0.23
ogbn-arxiv	169,343	1,166,243	0.66	OptBasisGNN	72.27±0.15
ogbn-papers100M	111,059,956	1,615,685,872	-	GPR-GNN	65.89±0.35
ogbn-papers100M	111,059,956	1,615,685,872	-	ChebNetII	67.18±0.32
ogbn-papers100M	111,059,956	1,615,685,872	-	OptBasisGNN	67.22±0.15

• FavardGNN은 재발(coefficients)들을 학습 가능하게 다루어 유연한 직교 다항 기반을 학습하고 여러 데이터셋에서 성능을 향상시킨다.
• OptBasisGNN은 벡터 기반 동반을 통해 암시적으로 최적 다항 기반을 계산하고, O(K|E|) 시간복잡도와 경쟁력 있는 정확도를 달성한다.
• 작은 데이터셋들에서 Chameleon, Squirrel, Actor, Citeseer, Pubmed에서 FavardGNN과 OptBasisGNN은 많은 강력한 baselines를 능가한다.
• 대규모 데이터셋에서 ogbn-arxiv, ogbn-papers100M, Pokec, Wiki에서 확장된 OptBasisGNN은 최첨단 스펙트럴 방법과 일치하거나 능가하며, 특히 Wiki에서 두드러진 성능 향상을 보인다.
• 다중 채널 필터링 작업에서 OptBasis(및 Favard)는 단항, Bernstein, BernNet, ChebNet 기반보다 수렴이 우수하고 MSE도 더 낮다.

Figure 2 : Drop of loss in 10,000 epochs. Left : MSE loss of regression task on one sample. Right : Cross entropy loss of classification problem on the Chameleon dataset. Models based on Monomial basis converge slowly, but stably. while FavardGNNs don’t converge. For the convergence curve for OptBas