[论文解读] How Universal Polynomial Bases Enhance Spectral Graph Neural Networks: Heterophily, Over-smoothing, and Over-squashing

Keke Huang, Yu Guang Wang+2 more|arXiv (Cornell University)|May 21, 2024

Computational Drug Discovery Methods被引用 7

一句话总结

本文介绍了 UniBasis 与 UniFilter，一种将自适应异质性与传统同质性基底相结合的通用多项式基，在不同的异质性水平上改进谱GNN，并同时缓解过平滑和过挤压。

ABSTRACT

Spectral Graph Neural Networks (GNNs), alternatively known as graph filters, have gained increasing prevalence for heterophily graphs. Optimal graph filters rely on Laplacian eigendecomposition for Fourier transform. In an attempt to avert prohibitive computations, numerous polynomial filters have been proposed. However, polynomials in the majority of these filters are predefined and remain fixed across different graphs, failing to accommodate the varying degrees of heterophily. Addressing this gap, we demystify the intrinsic correlation between the spectral property of desired polynomial bases and the heterophily degrees via thorough theoretical analyses. Subsequently, we develop a novel adaptive heterophily basis wherein the basis vectors mutually form angles reflecting the heterophily degree of the graph. We integrate this heterophily basis with the homophily basis to construct a universal polynomial basis UniBasis, which devises a polynomial filter based graph neural network - UniFilter. It optimizes the convolution and propagation in GNN, thus effectively limiting over-smoothing and alleviating over-squashing. Our extensive experiments, conducted on a diverse range of real-world and synthetic datasets with varying degrees of heterophily, support the superiority of UniFilter. These results not only demonstrate the universality of UniBasis but also highlight its proficiency in graph explanation.

研究动机与目标

• 揭示谱图卷积过滤器应如何随着图的异质性程度而对齐。
• 开发一个自适应异质性基，与同质性基结合，形成一个通用多项式基（UniBasis）。
• 创建一个通用图过滤器（UniFilter），在各种异质性水平下缓解过平滑和过挤压。
• 提供对 UniBasis/UniFilter 的理论与实证验证，包括对谱性质的解释。

提出的方法

• 定义谱图过滤器并通过定理 3.1 将过滤器频率与图的异质性相关联。
• 通过将传统的同质性基与由参数 tau 控制的自适应异质性基整合来构建 UniBasis。
• 将 UniFilter 形成为 UniBasis 分量的加权和，随后进行一个 MLP 的分类。
• 证明性质：(i) 同质性基收敛导致过平滑（定理 4.1），(ii) 异质性基设计使夹角 theta 与 h 相关（定理 4.2、算法 1、定理 4.3），(iii) UniFilter 能防止过平滑（定理 5.2）并缓解过挤压（定理 5.3）。
• 提供复杂度分析，基底构造的复杂度为 O(K(m+n))。
• 展示 UniBasis 通过检查学习到的谱和权重来实现图解释。

实验结果

研究问题

• RQ1 谱GNN 的多项式基应如何适应不同的图异质性程度？
• RQ2 一个结合同质性与自适应异质性基的通用多项式基是否能提升在同质性与异质性图上的性能？
• RQ3 提出的 UniFilter 是否在实现谱可解释性的同时缓解过平滑与过挤压？
• RQ4 在不同数据集上，UniFilter 相对于多项式过滤器和模型优化基线的表现如何？

主要发现

• UniFilter 在大多数数据集上实现最高准确率，包括同质性和异质性图。
• UniFilter 超越 20 个基线，在 Chameleon 和 Squirrel（异质性数据集）上有显著提升。
• UniBasis 谱揭示数据集特定的谱特性并支持图解释。
• 异质性基的构造使基向量的夹角均匀分布（theta = (1−h)π/2），使频率与异质性对齐。
• 过平滑在理论上被缓解，过挤压也被 UniFilter 的旋转使能卷积矩阵所缓解。
• 构造异质性基的复杂度与跳数和图规模成线性关系，O(K(m+n))。