[论文解读] Gauge Equivariant Convolutional Networks and the Icosahedral CNN

Taco Cohen, Maurice Weiler+2 more|arXiv (Cornell University)|Feb 11, 2019

3D Shape Modeling and Analysis参考文献 45被引用 176

一句话总结

本文在一般流形上提出测地协变卷积，并在正二十面体网格上实现为Icosahedral CNNs，在全向图像任务和气候模式分割上取得出色表现。

ABSTRACT

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning. We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

研究动机与目标

• 将测地协变卷积引入一般流形，使 CNN 依赖于内在几何而非嵌入信息。
• 提出在正二十面体表面上的可扩展实现，作为 Spherical CNN 的高效替代方案。
• 在全向图像分割和气候模式分割上展示性能提升。
• 显示测地填充和核展开对性能和泛化均有益处。

提出的方法

• 将量规定义为流形上的局部坐标系并描述量规变换。
• 用满足 K(g^{-1}v)=rho_out(g^{-1}) K(v) rho_in(g) 的核 K 来实现测地协变卷积，以确保等变性。
• 引入随表示 rho 变换的特征场（包括标量、向量和常规 C6 表示）。
• 将该框架专门化到带有重叠图集的 icosahedral 流形及 C6 量规，以实现一个实用的 conv2d 基实现。
• 实现 G-padding、核展开和二维卷积（HexaConv），以执行 Gauge Equivariant Icosahedral Convolution (GConv)。
• 提供核的权重共享方案，以在图集跃迁中强制等变性约束。

实验结果

研究问题

• RQ1 如何定义并实现通用流形上 CNN 的量规等变性？
• RQ2 我们能否在像 icosahedron 这样的规则流形上实现一个可扩展、实用的量规等变 CNN，并且它与 Spherical CNN 相比如何？
• RQ3 量规填充和核展开是否能改善在旋转或变换数据上的性能和/或泛化？
• RQ4 与基线相比，Icosahedral CNN 在全向信号分割和气候模式分割上的表现如何？

主要发现

Architecture	N/N	N/I	N/R	I/I	I/R	R/R
S2CNN	99.38	99.38	99.38	99.12	99.13	99.12
NP+NE	99.29	25.50	16.20	98.52	47.77	94.19
NE	99.42	25.41	17.85	98.67	60.74	96.83
NP	99.27	36.76	21.4	98.99	61.62	97.87
S2S	97.81	97.81	55.64	97.72	58.37	89.92
S2R	98.99	98.99	59.76	98.62	55.57	98.74
R2R	99.43	99.43	69.99	99.38	66.26	99.31

• Icosahedral CNN 在 IcoMNIST 的某些训练/测试条件下测试准确率高达 99.43%。
• 完整的 R2R 模型（常规到常规）在多种条件下表现最佳，显示出量规填充和核展开的价值。
• 非等变模型在对变换数据的泛化方面表现较差，突显等变性的优势。
• 等变模型（S2S、S2R、R2R）对 Icosahedral 对称变换测试数据（I-transforms）具有完美泛化能力；SO(3) 增强进一步提高鲁棒性。
• 相比球面 CNN，Icosahedral 方法速度更快、可扩展性更好，并在已报道的设置中具有竞争力或更好表现。