[论文解读] Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

Michaël Defferrard, Xavier Bresson+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Graph Neural Networks参考文献 28被引用 1,701

一句话总结

提出一种谱图卷积神经网络框架，使用 Chebyshev 多项式实现局部且高效可计算的图滤波器，并辅以图形粗化和池化，以在不规则域上实现可扩展学习。

ABSTRACT

In this work, we are interested in generalizing convolutional neural networks (CNNs) from low-dimensional regular grids, where image, video and speech are represented, to high-dimensional irregular domains, such as social networks, brain connectomes or words' embedding, represented by graphs. We present a formulation of CNNs in the context of spectral graph theory, which provides the necessary mathematical background and efficient numerical schemes to design fast localized convolutional filters on graphs. Importantly, the proposed technique offers the same linear computational complexity and constant learning complexity as classical CNNs, while being universal to any graph structure. Experiments on MNIST and 20NEWS demonstrate the ability of this novel deep learning system to learn local, stationary, and compositional features on graphs.

研究动机与目标

• 利用谱图理论将卷积神经网络从规则网格推广到图。
• 开发严格局部化、可高效计算且线性复杂度的图滤波器。
• 引入图粗化和池化以实现图上的多尺度学习。
• 在 MNIST 和 20NEWS 数据集上展示具有竞争力的性能，同时保持计算效率。

提出的方法

• 在谱域使用图拉普拉斯算子及其特征基来表述图卷积。
• 将滤波器参数化为拉普拉斯算子的 K 阶多项式以确保局部性（g_theta(L) = sum_{k=0}^{K-1} theta_k L^k）。
• 通过 Chebyshev 多项式及递推高效计算滤波器，避免显式特征分解。
• 使用 Graclus 多层聚类进行图粗化，以实现跨尺度的池化。
• 将粗化后的图重新排列成一个平衡二叉树，以实现高效的类一维池化操作。
• 通过反向传播进行训练；关于 theta 和输入的梯度通过 K 次稀疏矩阵-向量乘法和一次密集向量乘法获得。

实验结果

研究问题

• RQ1 是否可以在保持局部性和高效性的同时，将类似 CNN 的权重共享推广到图上？
• RQ2 带有局部化滤波器的谱图 CNN 是否在标准基准数据集（MNIST、20NEWS）上达到与经典 CNN 和其他图方法相竞争的准确性？
• RQ3 在大规模图上高效执行图池化/粗化以实现多尺度学习是否可行？
• RQ4 输入图的质量如何影响基于图的 CNN 的学习性能？

主要发现

架构	准确率
Classical CNN (C32-P4-C64-P4-FC512)	99.33
Proposed graph CNN (GC32-P4-GC64-P4-FC512)	99.14

• 基于 Chebyshev 的谱滤波器参数化实现了局部化（K 跳）内核，在边数上的计算复杂度为线性。
• 通过图粗化（Graclus）进行的池化以及后续经正则化的类 1D 池化，在图上实现了高效的多尺度学习。
• 在 MNIST 上，具备 GC32-P4-GC64-P4-FC512 的图 CNN 的准确率为 99.14%，与拥有类似架构的经典 CNN 的 99.33% 相比。
• 在 MNIST 上，当在 GPU 上实现时，图 CNN 相对于非图方法表现出运行时加速，并且在某些先前谱方法中的 O(n^2) 比例下，具有 O(n) 的尺度性。
• 在 20NEWS 上，使用 GC32 的图 CNN 达到 68.26% 的准确率，优于某些基于全连接的模型，但在此特定设置中略低于多项式朴素贝叶斯基线。