[论文解读] Graph Wavelet Neural Network

Bingbing Xu, Huawei Shen+3 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Graph Neural Networks被引用 78

一句话总结

GWNN 用图小波变换取代基于图傅里叶的卷积，从而实现高效、稀疏且局部化的图卷积，在 Cora、Citeseer 和 Pubmed 上改进半监督节点分类。

ABSTRACT

We present graph wavelet neural network (GWNN), a novel graph convolutional neural network (CNN), leveraging graph wavelet transform to address the shortcomings of previous spectral graph CNN methods that depend on graph Fourier transform. Different from graph Fourier transform, graph wavelet transform can be obtained via a fast algorithm without requiring matrix eigendecomposition with high computational cost. Moreover, graph wavelets are sparse and localized in vertex domain, offering high efficiency and good interpretability for graph convolution. The proposed GWNN significantly outperforms previous spectral graph CNNs in the task of graph-based semi-supervised classification on three benchmark datasets: Cora, Citeseer and Pubmed.

研究动机与目标

• 在非欧几里得数据上激发图卷积，并解决基于图傅里叶方法的局限性。
• 引入图小波变换作为图卷积的基础。
• 开发一个参数复杂度降低的高效 GWNN 架构。
• 在标准半监督节点分类基准数据集（Cora、Citeseer、Pubmed）上展示 GWNN 的有效性。

提出的方法

• 使用拉普拉斯特征向量以及缩放矩阵 G_s 与小波 psi_s，定义图小波变换。
• 将图卷积表述为 x *G y = psi_s ((psi_s^{-1} y) ⊙ (psi_s^{-1} x))。
• 提出一个高效的两层 GWNN，实现在特征变换 (X^m' = X^m W) 与图卷积之间的参数高效分离。
• 在频域使用对角滤波矩阵 F^m，并使用非线性激活 h（用于输出的 ReLU/softmax）。
• 用带标签节点的交叉熵损失进行训练，并通过梯度下降进行优化。
• 证明 psi_s 与 psi_s^{-1} 的稀疏性和局部性能够带来高效、可解释的卷积。

实验结果

研究问题

• RQ1 GWNN 是否在标准基于图的半监督分类数据集上超越传统的谱卷积神经网络？
• RQ2 将特征变换从图卷积分离在参数效率和准确性上有哪些影响？
• RQ3 图小波的稀疏性与局部性特性如何影响模型性能与可解释性？

主要发现

• GWNN 在 Cora、Citeseer 和 Pubmed 上持续超越先前的谱卷积神经网络。
• 在所报告的设置下，GWNN 的准确率分别为 82.8%（Cora）、71.7%（Citeseer）、79.1%（Pubmed）。
• 用图小波变换替代图傅里叶变换，在 Cora 和 Citeseer 相较 Spectral CNN 提升约 10% 的准确率，在 Pubmed 提升约 5%。
• 将特征变换从卷积中分离可减少参数数量（例如 ChebyNet 基线：46,080–178,032 参数 vs. Detaching-ChebyNet：23,048–59,348），并且在 Pubmed 上尤其能提高准确率（78.6% vs 74.4%）。
• GWNN 的稀疏性（例如 2.8% 的变换密度对比 傅里叶的 99.1%）以及小波的局部性有助于提升效率与可解释性。