[论文解读] Learning Depthwise Separable Graph Convolution from Data Manifold

Guokun Lai, Hanxiao Liu+1 more|arXiv (Cornell University)|Oct 31, 2017

Advanced Graph Neural Networks参考文献 13被引用 3

一句话总结

本文提出了一种新型图卷积方法——深度可分离图卷积（DSGC），通过在数据流形上应用深度可分离学习，统一了基于网格的卷积与基于图的卷积。该方法在多领域基准测试中实现了最先进性能，参数量更少、效率更高，同时与标准CNN架构保持兼容。

ABSTRACT

Convolution Neural Network (CNN) has gained tremendous success in computer vision tasks with its outstanding ability to capture the local latent features. Recently, there has been an increasing interest in extending convolution operations to the non-Euclidean geometry. Although various types of convolution operations have been proposed for graphs or manifolds, their connections with traditional convolution over grid-structured data are not well-understood. In this paper, we show that depthwise separable convolution can be successfully generalized for the unification of both graph-based and grid-based convolution methods. Based on this insight we propose a novel Depthwise Separable Graph Convolution (DSGC) approach which is compatible with the tradition convolution network and subsumes existing convolution methods as special cases. It is equipped with the combined strengths in model expressiveness, compatibility (relatively small number of parameters), modularity and computational efficiency in training. Extensive experiments show the outstanding performance of DSGC in comparison with strong baselines on multi-domain benchmark datasets.

研究动机与目标

• 通过统一的深度可分离学习框架，统一2D网格结构数据上的卷积与非欧几里得数据上的图卷积。
• 解决现有图卷积方法仅使用单个全局滤波器跨所有通道且依赖固定图结构的局限性。
• 开发一种兼具表达能力与计算效率的模型，同时与现代CNN架构兼容。
• 在多种任务中验证DSGC的有效性，包括时空预测与文本分类。

提出的方法

• 提出深度可分离图卷积（DSGC），通过从数据流形中学习通道特定的滤波器，模拟2D CNN中深度可分离卷积的机制。
• 从2D卷积与图卷积在标签传播下的数学等价性出发推导该方法，实现统一的公式化表达。
• 为每个通道使用可学习的图滤波器，使不同通道具有不同的扩散模式，提升模型表达能力。
• 采用两阶段操作：先在图结构上执行通道分离卷积，再通过跨通道的1x1逐点卷积，显著减少参数量。
• 将DSGC集成到现有CNN模块（如Inception、DenseNet和Squeeze-and-Excitation模块）中，提升整体性能。
• 利用节点嵌入与数据流形结构，学习适应非欧几里得数据中局部模式的空间滤波器。

实验结果

研究问题

• RQ1 深度可分离卷积能否推广到图和流形等非欧几里得数据？
• RQ2 所提出的DSGC方法在表达能力与参数效率方面相较于现有图卷积方法表现如何？
• RQ3 DSGC能否无缝集成到专为网格结构数据设计的最先进CNN架构中？
• RQ4 DSGC在时空预测与文本分类等多领域任务中是否优于强基线方法？

主要发现

• DSGC在所有三个时间序列预测数据集上均取得最低RMSE：TMAX为5.1438，PRCP为25.8228，Solar为0.02453，优于所有基线方法。
• 在20NEWS文本分类基准上，DSGC达到72.11%的准确率，标准差为±0.285，超越所有对比方法。
• 该方法在CIFAR图像分类任务中保持高性能，接近标准CNN表现，同时参数量更少。
• DSGC可实现即插即用式集成，与Inception、DenseNet及Squeeze-and-Excitation等先进CNN模块结合，显著提升各类任务性能。
• 消融实验表明，通道特定滤波器对性能至关重要，尤其在复杂局部特征提取任务中。