[论文解读] Dynamic Filters in Graph Convolutional Networks

Nitika Verma, Edmond Boyer+1 more|arXiv (Cornell University)|Jun 16, 2017

Advanced Graph Neural Networks被引用 17

一句话总结

本文提出了一种新型图卷积网络，其使用由输入特征决定形状的动态滤波器，从而实现自适应感受野。通过端到端学习滤波器配置，该模型在3D形状对应、数字识别和半监督文档分类任务中均取得了最先进性能。

ABSTRACT

Convolutional neural networks (CNNs) have massively impacted visual recognition in 2D images, and are now ubiquitous in state-of-the-art approaches. While CNNs naturally extend to other domains, such as audio and video, where data is also organized in rectangular grids, they do not easily generalize to other types of data such as 3D shape meshes, social network graphs or molecular graphs. To handle such data, we propose a novel graph-convolutional network architecture that builds on a generic formulation that relaxes the 1-to-1 correspondence between filter weights and data elements around the center of the convolution. The main novelty of our architecture is that the shape of the filter is a function of the features in the previous network layer, which is learned as an integral part of the neural network. Experimental evaluations on digit recognition, semi-supervised document classification, and 3D shape correspondence yield state-of-the-art results, significantly improving over previous work for shape correspondence.

研究动机与目标

• 解决传统GCN在应用于图和网格等非欧几里得数据时，固定且刚性滤波器的局限性。
• 通过允许滤波器形状随输入变化，突破标准图卷积中权重与节点一对一的对应约束。
• 使模型能够作为神经网络训练过程的一部分，端到端学习最优滤波器配置。
• 提升图结构数据的性能，特别是在具有不规则或复杂拓扑结构（如3D网格和社交网络）的场景中。
• 在多样化的图学习任务中实现最先进结果，包括半监督节点分类和3D形状对应。

提出的方法

• 提出一种通用的图卷积公式，将滤波器权重与固定空间位置解耦，从而支持动态滤波器形状。
• 将滤波器参数定义为前一层输入特征的函数，实现自适应感受野配置。
• 使用可微机制基于特征嵌入生成滤波器形状，使该过程可通过反向传播进行训练。
• 将动态滤波器机制集成到GCN架构中，使其能够处理任意图结构，而无需预定义滤波器布局。
• 端到端训练整个网络，联合优化图卷积和动态滤波器生成组件。
• 利用类似注意力的机制或特征条件函数来预测滤波器参数，确保空间自适应性。

实验结果

研究问题

• RQ1 图卷积网络能否从根据输入特征自适应调整形状的动态滤波器中获益？
• RQ2 基于输入特征的滤波器生成机制如何提升在不规则图数据上的性能？
• RQ3 在图学习任务中，动态滤波器在多大程度上优于固定或静态滤波器？
• RQ4 所提出的架构能否在多种图类型（如3D网格、社交网络和文档图）上实现泛化？
• RQ5 动态滤波器能否在3D形状对应和半监督分类任务中实现最先进结果？

主要发现

• 动态滤波器机制在3D形状对应任务中显著提升性能，相比先前方法取得了最先进结果。
• 该模型在半监督文档分类任务中表现强劲，在基准数据集上超越了先前方法。
• 该架构在多样化的图结构数据（包括数字识别和社交网络）上表现出鲁棒性和泛化能力。
• 学习到的滤波器形状能有效适应局部图结构，实现优于固定滤波器的特征提取。
• 滤波器生成与图卷积的端到端训练，显著提升了在不规则数据上的表征学习能力。
• 该方法在准确率和泛化能力方面表现出可测量的提升，尤其在半监督学习中常见的低数据场景下。