[论文解读] Convolutional Networks for Spherical Signals

Taco Cohen, Mario Geiger+2 more|arXiv (Cornell University)|Sep 14, 2017

Neural Networks and Applications被引用 56

一句话总结

本论文引入在球面和 SO(3) 上执行卷积且具旋转权重共享的球面卷积网络，使在球形数据上实现旋转等变的深度学习，并在球形 MNIST 上展示强烈的旋转不变量分类能力。

ABSTRACT

The success of convolutional networks in learning problems involving planar signals such as images is due to their ability to exploit the translation symmetry of the data distribution through weight sharing. Many areas of science and egineering deal with signals with other symmetries, such as rotation invariant data on the sphere. Examples include climate and weather science, astrophysics, and chemistry. In this paper we present spherical convolutional networks. These networks use convolutions on the sphere and rotation group, which results in rotational weight sharing and rotation equivariance. Using a synthetic spherical MNIST dataset, we show that spherical convolutional networks are very effective at dealing with rotationally invariant classification problems.

研究动机与目标

• 促使并形式化地使用群等变卷积处理球形数据。
• 定义球面卷积和 SO(3) 卷积及其傅里叶变换基础。
• 开发基于 FFT 的高效通用实现，用于球面/ CovSO(3) 卷积。
• 通过在球形 MNIST 数据集上的实验展示等变性带来的好处。

提出的方法

• 定义 f * ψ 在 S^2 上为在 SO(3) 上的函数，使用旋转滤波器的内积（Eq. 1）。
• 定义 f * ψ 在 SO(3) 上通过对 SO(3) 的积分（Eq. 2）。
• 在 S^2 和 SO(3) 上使用广义傅里叶变换 (GFT)，并采用 Wigner D 函数和球谐函数（Eq. 3-4）。
• 在 GFT 域中应用卷积定理，以实现球面/ SO(3) 卷积的高效计算。
• 构造一个球形卷积神经网络：S^2 Conv → 非线性 → SO(3) Conv → 非线性 → 最终线性层和 softmax。
• 在各层中利用带宽约减和通道扩展；支持残差和批量归一化。

实验结果

研究问题

• RQ1 球形和 SO(3) 卷积能否在网络层之间提供旋转等变性？
• RQ2 如何使用广义 FFT 高效实现球面与旋转群上的卷积？
• RQ3 球面 CNN 在旋转后的球形数据上是否优于平面卷积神经网络？
• RQ4 采样与深度对等变性的数值行为如何？
• RQ5 球形 MNIST 基准测试如何展示所提出结构的旋转鲁棒性？

主要发现

• 球形和 SO(3) 卷积在数学上对旋转具有等变性。
• 一个高效的基于 GFFT 的实现支持在 S^2 和 SO(3) 上的卷积。
• 在球形 MNIST 中，球面 CNN 在旋转后的球形数据上表现优于平面 CNN。
• 当在非旋转数据上训练而在旋转数据上测试时，球形 CNN 保持较高准确率（NR/R）。
• 在旋转训练和旋转测试（R/R）下，球形 CNN 的准确率为 0.91，而平面为 0.45。
• 在非旋转训练与旋转测试（NR/R）下，球形 CNN 的准确率为 0.85，而平面为 0.09。