[论文解读] CyCNN: A Rotation Invariant CNN using Polar Mapping and Cylindrical Convolution Layers

Jin-Pyo Kim, Wooekun Jung+2 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 35被引用 32

一句话总结

CyCNN 将旋转转换为极坐标映射中的平移，并使用圆柱卷积层实现旋转不变性，在不进行数据增强的情况下提升旋转图像分类。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) are empirically known to be invariant to moderate translation but not to rotation in image classification. This paper proposes a deep CNN model, called CyCNN, which exploits polar mapping of input images to convert rotation to translation. To deal with the cylindrical property of the polar coordinates, we replace convolution layers in conventional CNNs to cylindrical convolutional (CyConv) layers. A CyConv layer exploits the cylindrically sliding windows (CSW) mechanism that vertically extends the input-image receptive fields of boundary units in a convolutional layer. We evaluate CyCNN and conventional CNN models for classification tasks on rotated MNIST, CIFAR-10, and SVHN datasets. We show that if there is no data augmentation during training, CyCNN significantly improves classification accuracies when compared to conventional CNN models. Our implementation of CyCNN is publicly available on https://github.com/mcrl/CyCNN.

研究动机与目标

• 激发在 CNNs 中实现旋转不变图像分类的需求。
• 提出一个将输入映射到极坐标以将旋转转换为平移的流水线。
• 引入带有圆柱滑动窗口的圆柱卷积（CyConv）层。
• 展示 CyCNN 在保持参数数量不变的前提下，在不进行数据增强的情况下改善旋转图像分类。

提出的方法

• 将输入图像从笛卡尔坐标映射到极坐标（或对数极坐标）以将旋转转换为平移。
• 用使用圆柱滑动窗口（CSW）的圆柱卷积（CyConv）层替换标准卷积层。
• 将边界行进行环绕包装以创建圆柱输入，使卷积核能够进行全圆柱扫描。
• 可选地实现圆柱化的 Winograd（CyWino）卷积以加快训练。
• 仅通过改变表示和层类型来保持与原始 CNN 相同的可学习参数数量。

实验结果

研究问题

• RQ1 极坐标变换是否能将旋转变动转化为 CNN 的平移变动？
• RQ2 圆柱卷积（CyConv）层是否在不增加模型规模的情况下提升旋转不变性？
• RQ3 与常规 CNN 相比，CyCNN 在标准数据集（MNIST、SVHN、CIFAR-10、CIFAR-100）的旋转版本上的表现如何？
• RQ4 数据增强（旋转、平移）对 CyCNN 与基线 CNN 的影响是什么？

主要发现

• 极坐标映射在旋转数据上提升了基线 CNN 相对于原始 CNN 的准确性。
• 在不进行数据增广的训练条件下，使用 CyConv 的 CyCNN 相较于相应的基线 CNN 在旋转图像上的准确性显著提升。
• 在旋转+平移的增强下，CyCNN 在多个数据集上达到与基线相当的精度。
• CyCNN 保持与原始 CNN 相同的可学习参数数量，但训练时间较慢，原因是内核（CyWino）未充分优化，后续可加速。