[论文解读] ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network

Ruyue Liu, Rong Yin+2 more|arXiv (Cornell University)|Dec 10, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出 ASWT-SGNN，一种自监督图神经网络，利用自适应谱小波变换在频谱域和空间域中学习灵活、局部化的滤波器，避免了昂贵的特征分解计算。通过使用谱自适应多项式近似小波滤波器，并利用对比损失进行优化，该方法在降低计算复杂度的同时，实现了节点分类任务的最先进性能。

ABSTRACT

Graph Comparative Learning (GCL) is a self-supervised method that combines the advantages of Graph Convolutional Networks (GCNs) and comparative learning, making it promising for learning node representations. However, the GCN encoders used in these methods rely on the Fourier transform to learn fixed graph representations, which is inherently limited by the uncertainty principle involving spatial and spectral localization trade-offs. To overcome the inflexibility of existing methods and the computationally expensive eigen-decomposition and dense matrix multiplication, this paper proposes an Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network (ASWT-SGNN). The proposed method employs spectral adaptive polynomials to approximate the filter function and optimize the wavelet using contrast loss. This design enables the creation of local filters in both spectral and spatial domains, allowing flexible aggregation of neighborhood information at various scales and facilitating controlled transformation between local and global information. Compared to existing methods, the proposed approach reduces computational complexity and addresses the limitation of graph convolutional neural networks, which are constrained by graph size and lack flexible control over the neighborhood aspect. Extensive experiments on eight benchmark datasets demonstrate that ASWT-SGNN accurately approximates the filter function in high-density spectral regions, avoiding costly eigen-decomposition. Furthermore, ASWT-SGNN achieves comparable performance to state-of-the-art models in node classification tasks.

研究动机与目标

• 为解决谱 GCN 中固定、全局滤波器存在的空间-频谱权衡问题以及高计算成本问题。
• 克服现有图卷积网络在不同图规模下难以灵活控制邻域聚合的局限性。
• 开发一种自监督 GNN 框架，实现在频谱域和空间域中可学习、局部化的滤波，且无需进行特征分解。
• 在保持计算效率和大规模图可扩展性的同时，实现节点分类任务中的优异性能。

提出的方法

• 该方法采用谱自适应多项式近似小波滤波器函数，实现在频谱域和空间域中的局部化滤波。
• 通过对比学习直接优化小波尺度，使模型能够学习到与任务相关的滤波响应。
• 引入残差连接以缓解图神经网络深层消息传递过程中的过平滑问题。
• 通过小波算子的多项式近似避免图拉普拉斯矩阵的昂贵特征分解。
• 在图的多个增强视图上使用自监督对比目标进行端到端训练。
• 该框架兼容所有消息传递 GNN 和多项式图滤波器，具备广泛的应用潜力。

实验结果

研究问题

• RQ1 自监督 GNN 是否能够在不依赖特征分解的前提下，实现在频谱域和空间域中的灵活、可学习滤波？
• RQ2 与固定频谱或空间卷积相比，自适应谱小波滤波在节点表示学习方面有何改进？
• RQ3 所提出方法在多大程度上可降低计算复杂度，同时保持或提升节点分类任务的性能？
• RQ4 局部与全局信息捕获之间的平衡如何影响模型在不同图结构上的泛化能力？

主要发现

• ASWT-SGNN 在八个基准数据集中的六个上实现了最先进性能，平均优于最佳自监督模型（MaskGAE）0.8%。
• 在半监督设置下，ASWT-SGNN 平均优于最佳半监督基准（GCNII）3.1%，优于 MaskGAE 2.0%。
• 该模型在层数增加时仍保持稳定性能，而 GCN 和 GWNN 则因深度增加导致严重过平滑。
• t-SNE 可视化显示，与 MA-GCL 相比，ASWT-SGNN 生成的节点嵌入更具可分性，类间边界更清晰。
• 消融实验表明，当超参数 α 和 β 的设置达到平衡时可获得最优性能，其中 α 控制残差连接，β 控制小波基的贡献。
• 该方法在高密度频谱区域实现了对滤波器函数的高精度近似，且无需特征分解，显著降低了计算成本。