Skip to main content
QUICK REVIEW

[论文解读] Convolutional Neural Networks on Graphs with Chebyshev Approximation, Revisited

Mingguo He, Zhewei Wei|arXiv (Cornell University)|Feb 4, 2022
Advanced Graph Neural NetworksComputer Science被引用 46
一句话总结

本文重新审视 ChebNet 用于谱图卷积,发现非法系数学习是 ChebNet 表现不佳的原因,并提出基于 Chebyshev 插值的 ChebNetII,以实现更优性能和可扩展性,包括在大规模图上的实验。

ABSTRACT

Designing spectral convolutional networks is a challenging problem in graph learning. ChebNet, one of the early attempts, approximates the spectral graph convolutions using Chebyshev polynomials. GCN simplifies ChebNet by utilizing only the first two Chebyshev polynomials while still outperforming it on real-world datasets. GPR-GNN and BernNet demonstrate that the Monomial and Bernstein bases also outperform the Chebyshev basis in terms of learning the spectral graph convolutions. Such conclusions are counter-intuitive in the field of approximation theory, where it is established that the Chebyshev polynomial achieves the optimum convergent rate for approximating a function. In this paper, we revisit the problem of approximating the spectral graph convolutions with Chebyshev polynomials. We show that ChebNet's inferior performance is primarily due to illegal coefficients learnt by ChebNet approximating analytic filter functions, which leads to over-fitting. We then propose ChebNetII, a new GNN model based on Chebyshev interpolation, which enhances the original Chebyshev polynomial approximation while reducing the Runge phenomenon. We conducted an extensive experimental study to demonstrate that ChebNetII can learn arbitrary graph convolutions and achieve superior performance in both full- and semi-supervised node classification tasks. Most notably, we scale ChebNetII to a billion graph ogbn-papers100M, showing that spectral-based GNNs have superior performance. Our code is available at https://github.com/ivam-he/ChebNetII.

研究动机与目标

  • 动机:研究为什么在实际中 ChebNet 相对于 GCN 及其他可学习基底表现不佳的原因。
  • 分析 Chebyshev 系数在学习解析谱滤波器时对逼近理论的遵循及其作用。
  • 提出 ChebNetII,一种基于 Chebyshev 插值的图神经网络,以稳定学习、降低 Runge 现象,同时实现对滤波器设计的约束友好。
  • 展示 ChebNetII 在全监督和半监督节点分类任务中的可扩展性和有效性,包括在十亿级图规模上的表现。
  • "

提出的方法

  • 通过检查基于 Chebyshev 的谱滤波及学习到的系数对解析滤波器的影响,重新审视 ChebNet。
  • 引入 ChebBase,作为带有显式 Chebyshev 基函数系数的 ChebNet,并展示其表现不佳。
  • 给出受 Chebyshev 理论启发的系数受限变体并进行经验测试(ChebBase/ k)。
  • 通过对 Chebyshev 节点处的谱滤波值进行插值重新参数化,开发 ChebNetII,确保接近极小极大近似并降低 Runge 现象。
  • 提供计算分析和复杂度讨论,强调线性时间前向传播和可扩展的预处理。
  • 在多样化数据集上进行半监督和全监督节点分类实验,包括大规模异质图。

实验结果

研究问题

  • RQ1尽管 Chebyshev 的理论表达能力,为什么 ChebNet 相对于 GCN 的表现仍然不佳?
  • RQ2ChebNet 学到的系数是否违反逼近理论约束,从而导致过拟合?
  • RQ3Chebyshev 插值是否能产生更鲁棒且可扩展的图卷积,学习任意谱滤波器?
  • RQ4相较于最先进的基于多项式的 GNN,ChebNetII 在大规模和异同性图上的表现如何?
  • RQ5ChebNetII 的理论与实践优势是什么(例如,Runge 现象降低、接近极小极大逼近)?

主要发现

  • 在半监督任务中,ChebNet 通常不如 GCN,尤其是当多项式阶数增加时。
  • 显式 Chebyshev 基函数的 ChebBase 的表现不如多项式基(如 Monomial/Bernstein)的方法,表明学习到的系数可能不符合解析函数的约束。
  • 对 Chebyshev 系数进行约束(ChebBase/k)提升了性能,验证了解析滤波器的理论收敛约束。
  • 基于 Chebyshev 插值且具可学习节点值的 ChebNetII,在 8 个数据集中的 7 个上达到最先进的结果,其余数据集也保持竞争力。
  • ChebNetII 展示出强大的可扩展性,在 ogbn-papers100M 等大规模图上取得竞争性结果,在多个异质数据集上显示出改进的性能。
  • 理论分析表明,Chebyshev 插值提供近似极小极大近似并降低 Runge 现象,从而促进了实验性能的提升。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。