[论文解读] Convolutional neural networks on irregular domains based on approximate vertex-domain translations

Bastien Pasdeloup, Vincent Gripon+3 more|arXiv (Cornell University)|Oct 27, 2017

Advanced Graph Neural Networks参考文献 13被引用 5

一句话总结

该论文提出了一种新颖方法，通过在图上定义近似顶点域平移，将卷积神经网络（CNNs）推广至不规则域，从而在不依赖谱方法或启发式策略的情况下实现真正的权重重用和平移等变性。该方法在fMRI数据上表现出色，性能优于MLP并可与ChebNet相媲美，同时保留了经典CNN在网格结构数据上的归纳偏置。

ABSTRACT

We propose a generalization of convolutional neural networks (CNNs) to irregular domains, through the use of a translation operator on a graph structure. In regular settings such as images, convolutional layers are designed by translating a convolutional kernel over all pixels, thus enforcing translation equivariance. In the case of general graphs however, translation is not a well-defined operation, which makes shifting a convolutional kernel not straightforward. In this article, we introduce a methodology to allow the design of convolutional layers that are adapted to signals evolving on irregular topologies, even in the absence of a natural translation. Using the designed layers, we build a CNN that we train using the initial set of signals. Contrary to other approaches that aim at extending CNNs to irregular domains, we incorporate the classical settings of CNNs for 2D signals as a particular case of our approach. Designing convolutional layers in the vertex domain directly implies weight sharing, which in other approaches is generally estimated a posteriori using heuristics.

研究动机与目标

• 将CNN推广至不规则域（如脑fMRI信号），其中传统欧几里得平移未定义。
• 解决图上缺乏明确定义的平移算子的问题，这阻碍了经典CNN设计原则的直接应用。
• 开发一种通过显式平移单个卷积核至各顶点来强制权重重用的方法，避免谱方法中使用的启发式权重重分配。
• 确保标准2D CNN在网格结构上的情况是所提框架的特例，从而保留经典CNN的归纳偏置。
• 在真实世界不规则数据（如功能性脑网络）上展示该方法的有效性，其中空间结构和局部模式至关重要。

提出的方法

• 通过识别保持卷积核形状在不同顶点间一致的单射映射，在图上定义近似顶点域平移。
• 使用平移算子系统性地将单个学习到的卷积核在所有顶点间移动，直接将卷积层中的核权重与图边关联。
• 通过将核平移到每个顶点并计算邻近节点的局部加权和来构建卷积层，模仿标准CNN操作。
• 该方法避免谱分解和核重估计，而是通过图上的结构化平移强制实现等变性。
• 当底层图是规则网格时，该框架自然包含标准2D CNN作为特例。
• 该方法支持使用标准反向传播进行端到端训练，所有权重通过平移机制在顶点位置间共享。

实验结果

研究问题

• RQ1 能否在不规则图上构建明确定义的平移算子，以实现在图CNN中的真正权重重用，类似于图像中的欧几里得平移？
• RQ2 与基于谱的方法（如ChebNet）相比，所提出的顶点域平移方法在性能和归纳偏置方面表现如何？
• RQ3 当应用于网格结构数据时，该方法是否通过恢复标准2D CNN作为特例来保持经典CNN的归纳偏置？
• RQ4 该方法能否在真实世界不规则数据（如人类大脑的fMRI信号）上实现有竞争力的性能？
• RQ5 与使用更大感受野的方法相比，核支持（即跳数）的选择如何影响分类准确率？

主要发现

• 在Haxby fMRI数据集上，使用图$σ_{geo}$时，该方法平均准确率达到52.8%，显著优于多层感知机（MLP）和简单基线分类器。
• 该方法性能与使用切比雪夫多项式滤波器且感受野更大的ChebNet相当，表明性能差距主要源于感受野大小而非核心方法论。
• 当图是规则网格时，该方法成功恢复标准2D CNN作为特例，验证了其与经典CNN设计的一致性。
• 该方法与ChebNet之间的性能差距不显著，表明通过增大核支持或优化核形状设计，具有显著的改进潜力。
• 实验表明，该方法在不同受试者间表现稳健，所有受试者平均准确率达到49.9%，而基线MLP为38.9%。
• 作者观察到，该方法的优势在于保持局部结构和方向性，表明其在具有有意义局部几何结构的流形上可能优于现有方法。