[论文解读] Polar Transformer Networks

Carlos Esteves, Christine Allen-Blanchette+2 more|arXiv (Cornell University)|Sep 6, 2017

Advanced Neural Network Applications参考文献 28被引用 31

一句话总结

极坐标变换网络（PTN）引入了一个可微的对数极坐标变换模块，使卷积神经网络能够学习到对平移不变且对旋转和缩放等变的表征。通过预测特征图中的极坐标原点并将输入转换为对数极坐标，PTN在旋转MNIST和新的SIM2MNIST数据集上实现了最先进性能，显著优于先前方法，在处理杂乱、几何变换的数字样本方面表现出色。

ABSTRACT

Convolutional neural networks (CNNs) are inherently equivariant to translation. Efforts to embed other forms of equivariance have concentrated solely on rotation. We expand the notion of equivariance in CNNs through the Polar Transformer Network (PTN). PTN combines ideas from the Spatial Transformer Network (STN) and canonical coordinate representations. The result is a network invariant to translation and equivariant to both rotation and scale. PTN is trained end-to-end and composed of three distinct stages: a polar origin predictor, the newly introduced polar transformer module and a classifier. PTN achieves state-of-the-art on rotated MNIST and the newly introduced SIM2MNIST dataset, an MNIST variation obtained by adding clutter and perturbing digits with translation, rotation and scaling. The ideas of PTN are extensible to 3D which we demonstrate through the Cylindrical Transformer Network.

研究动机与目标

• 开发一种CNN架构，实现对平移的不变性以及对旋转和缩放的等变性。
• 克服现有方法依赖姿态回归或无法处理任意缩放和旋转的局限性。
• 通过规范坐标系，将CNN中等变性的概念从旋转扩展到包含缩放和平移。
• 在包含杂乱和几何畸变的挑战性数据集上，验证该方法的有效性。
• 通过使用柱坐标将框架扩展至3D，用于体素网格上的物体分类。

提出的方法

• 网络包含三个阶段：一个全卷积的特征图头用于预测极坐标原点，一个可微的极坐标变换模块，以及一个标准的分类器头。
• 极坐标变换模块执行可微的对数极坐标变换，将笛卡尔坐标输入转换为对数极坐标空间，使旋转和缩放变换变为平移。
• 极坐标原点通过网络端到端学习，作为单通道特征图的质心。
• 在对数极坐标空间中，标准2D卷积等价于在旋转-缩放群上的群卷积，从而在无需显式群滤波的情况下实现等变性。
• 对于3D扩展，方法通过将一个轴视为通道，并对每个切片应用2D极坐标变换，使用柱坐标，同时通过各向异性探测预测轴方向。
• 网络通过反向传播进行端到端训练，极坐标变换通过原点预测和坐标变换过程保持可微。

实验结果

研究问题

• RQ1 是否可以训练CNN实现对平移的不变性和对旋转与缩放的等变性，而无需依赖姿态回归或群卷积滤波？
• RQ2 是否可以使用可微的对数极坐标变换，将几何形变转换为规范坐标系中的简单平移？
• RQ3 极坐标变换模块在CNN深层中保持等变性和不变性的有效性如何？
• RQ4 通过使用柱坐标，该方法是否能推广至3D数据（如体素网格），实现对轴向旋转的等变性？
• RQ5 该方法在包含杂乱和任意几何变换的数据集上是否优于现有最先进方法？

主要发现

• PTN在旋转MNIST数据集上实现了最先进性能，显著优于先前方法。
• 在新引入的SIM2MNIST数据集中，该数据集包含杂乱背景、随机平移、旋转和缩放，PTN取得了报告的最佳准确率。
• 可视化显示，网络成功学习到检测物体中心并有效排除背景杂波，体现在预测的极坐标原点特征图中。
• 深层激活结果证实，网络整体保持了对平移的不变性以及对旋转和缩放的等变性。
• 柱坐标变换扩展版本在ModelNet40上实现了86.5%的平均类别准确率，优于所有其他测试的基于体素的方法。
• 该方法通过将输入转换为柱坐标，成功推广至3D，实现了对预测轴向旋转的等变性，且无需测试时增强。