[论文解读] Graph Neural Networks with Learnable and Optimal Polynomial Bases

Yuhe Guo, Zhewei Wei|arXiv (Cornell University)|Feb 24, 2023

Advanced Graph Neural Networks被引用 8

一句话总结

简述：引入 FavardGNN 通过 Favard 定理学习正交多项式基，以及 OptBasisGNN 以隐式方式获得多项式图过滤器的最优基，在小型和大规模数据集上都取得了出色的结果。

ABSTRACT

Polynomial filters, a kind of Graph Neural Networks, typically use a predetermined polynomial basis and learn the coefficients from the training data. It has been observed that the effectiveness of the model is highly dependent on the property of the polynomial basis. Consequently, two natural and fundamental questions arise: Can we learn a suitable polynomial basis from the training data? Can we determine the optimal polynomial basis for a given graph and node features? In this paper, we propose two spectral GNN models that provide positive answers to the questions posed above. First, inspired by Favard's Theorem, we propose the FavardGNN model, which learns a polynomial basis from the space of all possible orthonormal bases. Second, we examine the supposedly unsolvable definition of optimal polynomial basis from Wang & Zhang (2022) and propose a simple model, OptBasisGNN, which computes the optimal basis for a given graph structure and graph signal. Extensive experiments are conducted to demonstrate the effectiveness of our proposed models. Our code is available at https://github.com/yuziGuo/FarOptBasis.

研究动机与目标

• 研究多项式基的选择如何影响谱图神经网络的性能。
• 使用 Favard 定理（FavardGNN）开发可学习的正交多项式基。
• 提出一种高效方法在不进行特征特征对角分解的情况下获得最优多项式基（OptBasisGNN）。
• 通过一个可扩展的 OptBasisGNN 变体评估对大图的可扩展性。
• 在从小到大图基准上实证验证改进。

提出的方法

• 推导正交多项式基的三项递推形式，并学习递推系数（beta、gamma、alpha）以构造 FavardGNN 基（算法 1 与 2）。
• 按 Wang & Zhang (2022) 定义最优基并实现 OptBasisGNN，隐式地给出一个伴随向量基及相应多项式（算法 4/5）。
• 利用正交性最小化跨基影响，并通过学习系数的 b(P) 实现高效过滤（方程（2））。
• 提供可扩展变体，使大图上的特征传播与变换解耦（第4.4节）。
• 提供实用的 PyTorch 风格伪代码与实现笔记，便于并行通道处理与向量基缓存。

Figure 1 : Convergence rate of minimizing $\frac{1}{2}\|Z-Y\|^{2}_{2}$ on one sample. Sample message : The true filters for this sample are low-pass(Y) / band-reject(Cb) / band-reject(Cr). Legends : ChebII means using Chebyshev polynomials combined with interpolation on chebynodes as in ChebNetII (

实验结果

研究问题

• RQ1 我们能否从数据中学习到合适的多项式基，而不是固定一个预定义的基？
• RQ2 是否能在不进行大规模特征对角分解的情况下，为给定图与信号高效计算出最优多项式基？
• RQ3 FavardGNN 和 OptBasisGNN 是否在小型和大型基准数据集上提升预测性能？
• RQ4 可扩展的 OptBasisGNN 相较于基线在十亿边的图上表现如何？

主要发现

Dataset	|V|	|E|	H(G)	Model	Metric
ogbn-arxiv	169,343	1,166,243	0.66	GPR-GNN	71.78±0.18
ogbn-arxiv	169,343	1,166,243	0.66	ChebNetII	72.32±0.23
ogbn-arxiv	169,343	1,166,243	0.66	OptBasisGNN	72.27±0.15
ogbn-papers100M	111,059,956	1,615,685,872	-	GPR-GNN	65.89±0.35
ogbn-papers100M	111,059,956	1,615,685,872	-	ChebNetII	67.18±0.32
ogbn-papers100M	111,059,956	1,615,685,872	-	OptBasisGNN	67.22±0.15

• FavardGNN 通过将递推系数设为可训练，学习出灵活的正交多项式基，在多个数据集上提升了性能。
• OptBasisGNN 通过向量基伴随隐式计算最优多项式基，达到 O(K|E|) 的时间复杂度，准确性具有竞争力。
• 在小型数据集（Chameleon、Squirrel、Actor、Citeseer、Pubmed）上，FavardGNN 和 OptBasisGNN 超越了许多强基线。
• 在大型数据集（ogbn-arxiv、ogbn-papers100M、Pokec、Wiki）上，扩展后的 OptBasisGNN 与最先进的谱方法相当甚至超越，Wiki 上尤为显著。
• 在多通道滤波任务中，OptBasis（及 Favard）展现出比单项式、Bernstein、BernNet 与 ChebNet 基更优的收敛性和更低的均方误差。

Figure 2 : Drop of loss in 10,000 epochs. Left : MSE loss of regression task on one sample. Right : Cross entropy loss of classification problem on the Chameleon dataset. Models based on Monomial basis converge slowly, but stably. while FavardGNNs don’t converge. For the convergence curve for OptBas