[论文解读] How Framelets Enhance Graph Neural Networks

Xuebin Zheng, Bingxin Zhou+5 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Graph Neural Networks参考文献 66被引用 9

一句话总结

本文提出了一种基于帧分解的图神经网络（GNN），通过帧分解变换实现多分辨率分析，以增强图卷积与池化操作。通过将图信号分解为低通和高通系数，并应用一种新型的软阈值激活函数，该模型在节点分类与图分类任务中均实现了最先进性能，同时实现了有效的去噪与信号压缩，压缩率最高可达47.7%，且预测精度得以保持。

ABSTRACT

This paper presents a new approach for assembling graph neural networks based on framelet transforms. The latter provides a multi-scale representation for graph-structured data. We decompose an input graph into low-pass and high-pass frequencies coefficients for network training, which then defines a framelet-based graph convolution. The framelet decomposition naturally induces a graph pooling strategy by aggregating the graph feature into low-pass and high-pass spectra, which considers both the feature values and geometry of the graph data and conserves the total information. The graph neural networks with the proposed framelet convolution and pooling achieve state-of-the-art performance in many node and graph prediction tasks. Moreover, we propose shrinkage as a new activation for the framelet convolution, which thresholds high-frequency information at different scales. Compared to ReLU, shrinkage activation improves model performance on denoising and signal compression: noises in both node and structure can be significantly reduced by accurately cutting off the high-pass coefficients from framelet decomposition, and the signal can be compressed to less than half its original size with well-preserved prediction performance.

研究动机与目标

• 通过引入帧分解变换实现图神经网络与信号处理的融合，以实现多尺度图表示。
• 开发一种基于帧分解与重构的新型图卷积机制，使其在频域中运行。
• 提出一种软阈值激活函数，对高频分量进行阈值处理，以实现噪声抑制与信号压缩。
• 设计一种由帧分解诱导的图池化策略，通过能量守恒原理保留总信息量。
• 在基准数据集上展示模型在节点与图分类、去噪及数据压缩任务中的性能提升。

提出的方法

• 该方法利用帧分解变换，通过图拉普拉斯矩阵与切比雪夫多项式近似，将图信号分解为低通与高通频率分量。
• 通过组合低通与高通系数，设计基于帧分解的图卷积，实现在谱域中的多尺度特征学习。
• 提出一种新型软阈值激活函数，在多个尺度上对高通系数进行阈值处理，有效抑制节点特征与图结构中的噪声。
• 帧分解池化策略通过利用帧谱中的能量守恒特性，在不同尺度上聚合特征，实现高效的降维。
• 框架整合滤波器组与张量化变换以提升计算效率，支持端到端训练。
• 模型采用标准GNN优化方法进行训练，并在节点与图分类基准数据集上评估性能。

实验结果

研究问题

• RQ1 帧分解变换是否能通过多尺度信号分析提升图神经网络的表征能力？
• RQ2 所提出的软阈值激活函数在去噪节点特征与图结构方面与ReLU相比表现如何？
• RQ3 基于帧分解的GNN在保持预测性能的前提下，能在多大程度上实现图数据压缩？
• RQ4 帧分解诱导的池化策略在信息保留与精度方面是否优于现有的空间或谱域池化方法？
• RQ5 将信号处理工具（如帧分解）整合到图学习任务中，是否能实现最先进性能？

主要发现

• 所提出的基于帧分解的GNN在多个节点与图分类基准数据集上实现了最先进性能，优于现有的空间与谱域GNN方法。
• 软阈值激活有效降低了节点特征与图结构中的噪声，显著提升了模型在噪声数据上的鲁棒性。
• 图信号可压缩至原始大小的不到一半（压缩率达47.7%），且预测性能损失极小。
• 由于帧谱中能量守恒，帧分解池化策略能够保留总信息量，实现有效的降维。
• 当尺度层级为2时，该模型的计算复杂度与使用8个注意力头的GAT相当，且在大规模图（>4×10⁴个节点）上表现优于GAT。
• Cora数据集上的可视化结果表明，软阈值激活能有效在高通系数中分离出与类别相关的特征，而大部分无关系数被抑制至接近零。