[论文解读] Graph Based Convolutional Neural Network

Michael Edwards, Xianghua Xie|arXiv (Cornell University)|Sep 28, 2016

Advanced Graph Neural Networks参考文献 17被引用 43

一句话总结

本文提出一种基于图的卷积神经网络（GCNN），在图拉普拉斯的谱域上执行卷积，以实现在非规则空间域上的深度学习。通过结合图信号处理与谱乘子的反向传播，该方法在空间非规则下采样的MNIST数据集上实现了94.96%的准确率，展示了在标准CNN失效时仍能有效学习局部特征的能力。

ABSTRACT

The benefit of localized features within the regular domain has given rise to the use of Convolutional Neural Networks (CNNs) in machine learning, with great proficiency in the image classification. The use of CNNs becomes problematic within the irregular spatial domain due to design and convolution of a kernel filter being non-trivial. One solution to this problem is to utilize graph signal processing techniques and the convolution theorem to perform convolutions on the graph of the irregular domain to obtain feature map responses to learnt filters. We propose graph convolution and pooling operators analogous to those in the regular domain. We also provide gradient calculations on the input data and spectral filters, which allow for the deep learning of an irregular spatial domain problem. Signal filters take the form of spectral multipliers, applying convolution in the graph spectral domain. Applying smooth multipliers results in localized convolutions in the spatial domain, with smoother multipliers providing sharper feature maps. Algebraic Multigrid is presented as a graph pooling method, reducing the resolution of the graph through agglomeration of nodes between layers of the network. Evaluation of performance on the MNIST digit classification problem in both the regular and irregular domain is presented, with comparison drawn to standard CNN. The proposed graph CNN provides a deep learning method for the irregular domains present in the machine learning community, obtaining 94.23% on the regular grid, and 94.96% on a spatially irregular subsampled MNIST.

研究动机与目标

• 解决在标准卷积核卷积不适用的非规则空间域上应用卷积神经网络的挑战。
• 通过将规则网格上的卷积与池化操作适配到非规则图上，实现在图结构数据上的深度学习。
• 开发可微分的图卷积与池化算子，通过精确的反向传播实现端到端训练。
• 在规则与非规则版本的MNIST数据集上评估性能，证明其在非网格数据上的泛化能力。
• 提供一种基于图傅里叶变换与谱滤波的可扩展框架，用于非规则域学习。

提出的方法

• 通过在图傅里叶域中应用谱乘子执行图卷积，利用图傅里叶变换（GFT）转换输入。
• 使用平滑的谱乘子，通过逆GFT诱导出局部化的空间特征图，实现在非规则图上的局部化学习。
• 提出一种基于代数多重网格（AMG）的图池化方法，通过聚合节点降低各层图的分辨率。
• 利用反向传播推导输入特征与谱滤波器的梯度更新，通过谱投影显式计算∇f_s,i与∇k_i,o。
• 通过插值追踪权重以近似谱滤波器，降低计算成本，同时保持梯度精度。
• 采用两阶段训练流程：先进行GFT与逆GFT的前向传播，再通过谱域导数计算梯度。

实验结果

研究问题

• RQ1 在非规则空间域上，谱域中的图卷积能否有效学习局部化特征？
• RQ2 在追踪权重有限的情况下，所提出的梯度计算方法在精度上与先前方法相比如何？
• RQ3 该图CNN能否在非规则数据上实现具有竞争力的性能，同时保持可微性以支持深度学习？
• RQ4 插值与图池化对模型准确率与训练稳定性有何影响？
• RQ5 该图CNN在规则与非规则MNIST数据集上的性能与标准CNN相比如何？

主要发现

• 所提出的图CNN在规则网格MNIST上的测试准确率达到94.23%，优于Henaff等人（92.69%）的基线方法。
• 在非规则、下采样的MNIST数据集上，模型准确率达到94.96%，显著优于基线方法（91.84%），证明其对空间非规则性的鲁棒性。
• 使用谱投影的梯度计算将输入特征的误差降低至1.41%（±4.00%），而跳过反向传播中GFT时误差高达376.50%（±1020.79%）。
• 对于滤波器梯度，所提方法误差为3.81%（±16.11%），而无谱投影时误差达826.08%（±4153.32%），证实了更高的数值稳定性。
• 在追踪权重较少时，插值谱滤波器引入更高误差，但所提方法在所有测试配置下仍优于其他方法。
• 如图5与图6所示，该模型在规则与非规则域中均成功学习到多层空间局部化特征图。