[论文解读] Geometric deep learning on graphs and manifolds using mixture model CNNs

Federico Monti, Davide Boscaini+4 more|arXiv (Cornell University)|Nov 25, 2016

Graph Theory and Algorithms参考文献 56被引用 37

一句话总结

本文提出了混合模型网络（MoNet），一种空间域深度学习框架，通过学习可学习的基函数混合来实现局部、平稳且任务特定的特征，将卷积神经网络推广至图和流形等非欧几里得域。MoNet通过将先前的谱方法和空间方法统一为特例，在3D形状对应、图分类和图像分析任务中实现了最先进性能。

ABSTRACT

Deep learning has achieved a remarkable performance breakthrough in several fields, most notably in speech recognition, natural language processing, and computer vision. In particular, convolutional neural network (CNN) architectures currently produce state-of-the-art performance on a variety of image analysis tasks such as object detection and recognition. Most of deep learning research has so far focused on dealing with 1D, 2D, or 3D Euclidean-structured data such as acoustic signals, images, or videos. Recently, there has been an increasing interest in geometric deep learning, attempting to generalize deep learning methods to non-Euclidean structured data such as graphs and manifolds, with a variety of applications from the domains of network analysis, computational social science, or computer graphics. In this paper, we propose a unified framework allowing to generalize CNN architectures to non-Euclidean domains (graphs and manifolds) and learn local, stationary, and compositional task-specific features. We show that various non-Euclidean CNN methods previously proposed in the literature can be considered as particular instances of our framework. We test the proposed method on standard tasks from the realms of image-, graph- and 3D shape analysis and show that it consistently outperforms previous approaches.

研究动机与目标

• 开发一种统一的深度学习框架，用于非欧几里得数据（如图和流形）。
• 通过实现局部、平稳且可组合的特征学习，将卷积神经网络推广至欧几里得空间之外。
• 通过引入空间域方法，克服谱卷积神经网络的领域依赖性，实现在不同图和流形之间的泛化。
• 将现有方法（如GCNN、ACNN和谱卷积神经网络）统一为单一灵活架构的特例。
• 在3D形状对应、图分类和图像分析任务中展示最先进性能。

提出的方法

• MoNet 使用可学习的基函数（卷积核）混合来定义非欧几里得域上的卷积滤波器，其中每个基函数以某个节点或点为中心。
• 该框架在空间域中运行，允许内在的、与几何相关的特征学习，而无需依赖傅里叶基或特征分解。
• 每一层卷积应用基函数的加权组合，其中权重通过反向传播学习，以适应局部几何结构。
• 通过使用测地线距离和极坐标中的局部补丁表示，该方法同时支持图和流形数据。
• 通过允许滤波器基函数为数据相关且可学习，而非固定于预定义的特征基，从而推广谱卷积神经网络。
• 该架构通过标准反向传播进行端到端训练，输入特征包括SHOT描述符或原始深度值。

实验结果

研究问题

• RQ1 能否设计一种统一的深度学习框架，将卷积神经网络推广至图和流形等非欧几里得域？
• RQ2 如何使空间域卷积可学习并适应局部几何结构，同时保持对形变的不变性？
• RQ3 现有方法（如GCNN、ACNN和谱卷积神经网络）在多大程度上可被统一为单一框架？
• RQ4 可学习的空间基卷积架构是否在图和形状分析任务中优于固定基的谱方法？
• RQ5 所提出的方法是否无需微调或领域特定适应即可在不同流形和图之间泛化？

主要发现

• 在Cora数据集上，MoNet达到81.69% ± 0.48的准确率，在PubMed数据集上达到78.81% ± 0.44，优于GCN（81.59% ± 0.42% 和 78.72% ± 0.25%）以及DCNN（76.80% ± 0.60% 和 73.00% ± 0.52%）。
• 在FAUST人体3D形状数据集上，MoNet实现了接近90%的对应点匹配且测地线误差为零，99%的对应点误差在4厘米以内，显著优于GCNN、ACNN和ADD。
• 在FAUST的范围图上，MoNet优于应用于深度图和SHOT描述符的标准3层欧几里得卷积神经网络，展现出对几何变化更高的鲁棒性。
• MoNet的补丁算子中学习到的加权函数比GCNN和ACNN中的固定核更有效，证实了可学习基函数的优势。
• 定性结果表明，MoNet在包括SCAPE和TOSCA数据集在内的多样化形状上生成了准确且平滑的对应图，异常点极少。
• 该方法通过结构设计实现了形变不变性，无需依赖大规模训练集或复杂的数据增强来学习不变性。