[论文解读] Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution

Mengxi Yang, Shi, Dai+3 more|arXiv (Cornell University)|Jan 11, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种新型谱图卷积方法——准小波基（QUFG），通过在谱域直接设计自适应滤波函数，提升图神经网络的鲁棒性与灵活性。通过引入多尺度小波类似滤波与可学习调制机制，QUFG在噪声和异构图上均表现出色，在同质与异构设置下的节点分类任务中显著提升了准确率与抗噪能力，优于当前最先进模型。

ABSTRACT

This paper aims to provide a novel design of a multiscale framelet convolution for spectral graph neural networks (GNNs). While current spectral methods excel in various graph learning tasks, they often lack the flexibility to adapt to noisy, incomplete, or perturbed graph signals, making them fragile in such conditions. Our newly proposed framelet convolution addresses these limitations by decomposing graph data into low-pass and high-pass spectra through a finely-tuned multiscale approach. Our approach directly designs filtering functions within the spectral domain, allowing for precise control over the spectral components. The proposed design excels in filtering out unwanted spectral information and significantly reduces the adverse effects of noisy graph signals. Our approach not only enhances the robustness of GNNs but also preserves crucial graph features and structures. Through extensive experiments on diverse, real-world graph datasets, we demonstrate that our framelet convolution achieves superior performance in node classification tasks. It exhibits remarkable resilience to noisy data and adversarial attacks, highlighting its potential as a robust solution for real-world graph applications. This advancement opens new avenues for more adaptive and reliable spectral GNN architectures.

研究动机与目标

• 解决现有谱图神经网络在处理不完整或受扰动图数据时的局限性。
• 克服数学预定义滤波器的刚性与端到端可学习滤波器对数据的敏感性。
• 通过在谱域直接设计调制函数，实现灵活的谱域滤波。
• 在不依赖注意力机制的前提下，提升异构图中的节点分类性能。
• 展示在多层级图表示学习中，对特征噪声与图扰动的更强鲁棒性。

提出的方法

• 提出一种新型图卷积层——QUFGConv，通过在谱域直接应用可学习调制函数，实现对谱域滤波的控制。
• 引入两组调制函数，用于分解与调控图信号的不同频率分量。
• 采用受小波启发的多尺度设计，实现低通与高通滤波的并行处理，提升信号表征能力。
• 在同质与异构图神经网络框架中均应用QUFGConv层，替换HAN中的注意力机制以实现公平比较。
• 通过图拉普拉斯矩阵的谱分解，将节点特征投影至谱域以实现滤波操作。
• 在异构图中，利用QUFGConv聚合基于元路径的表征，以捕捉多种节点与边类型的拓扑语义。

(a) Sigmoid modulation Functions ( $\alpha=10$ )

实验结果

研究问题

• RQ1 是否可通过在谱域直接设计调制函数，而非依赖可学习或固定数学滤波器，使谱域滤波更具灵活性与鲁棒性？
• RQ2 与现有谱图神经网络相比，所提出的QUFG卷积在具有噪声或不完整特征的图上性能如何提升？
• RQ3 QUFG是否能在不使用注意力机制的前提下，有效捕捉多类型图中的异构拓扑结构？
• RQ4 QUFG的多尺度滤波能力是否能在同质与异构图设置中均带来更优的表征学习效果？
• RQ5 在不同噪声水平与图扰动条件下，QUFG与最先进模型相比的鲁棒性如何？

主要发现

• 在Pubmed数据集上，当高斯噪声标准差σ=0.05时，QUFG取得43.61% ± 2.97的准确率，优于GCN（44.13%）与UFG（43.30%）的相同设置。
• 在相同数据集上σ=0.2时，QUFG保持41.47% ± 2.24的准确率，超过UFG（41.35%）与GCN（41.11%），展现出强大的去噪能力。
• 在异构图节点分类任务中，QUFG在ACM数据集上取得92.72%的Macro-F1，在IMDB上取得55.69%的Macro-F1，优于HAN（89.40%与50.00%）与UFG（91.45%与54.96%）。
• QUFG显著降低性能方差，在DBLP与ACM上的标准差分别为0.64与0.56，表明训练过程更具稳定性。
• 在所有数据集与评估指标上，QUFG均显著优于其线性小波基前身UFG，证明自适应调制机制的有效性。
• QUFG在不使用注意力机制的前提下达到最先进性能，表明显式控制频率分量可替代注意力机制以捕捉复杂图语义。

(b) Entropy modulation Functions ( $\alpha=50$ )