[论文解读] HexaConv

Emiel Hoogeboom, Jorn W. T. Peters+2 more|arXiv (Cornell University)|Mar 6, 2018

Advanced Image and Video Retrieval Techniques被引用 10

一句话总结

本文提出 HexaConv，一种在六边形晶格上实现高效组卷积的方法，通过利用六重旋转对称性提升模型性能。通过重用优化的卷积例程并利用减少的各向异性和增强的对称性，HexaConv 在航空影像分类任务中实现了最先进性能，即使在随机初始化下也优于标准 CNN 和 ImageNet 预训练模型。

ABSTRACT

The effectiveness of Convolutional Neural Networks stems in large part from their ability to exploit the translation invariance that is inherent in many learning problems. Recently, it was shown that CNNs can exploit other invariances, such as rotation invariance, by using group convolutions instead of planar convolutions. However, for reasons of performance and ease of implementation, it has been necessary to limit the group convolution to transformations that can be applied to the filters without interpolation. Thus, for images with square pixels, only integer translations, rotations by multiples of 90 degrees, and reflections are admissible. Whereas the square tiling provides a 4-fold rotational symmetry, a hexagonal tiling of the plane has a 6-fold rotational symmetry. In this paper we show how one can efficiently implement planar convolution and group convolution over hexagonal lattices, by re-using existing highly optimized convolution routines. We find that, due to the reduced anisotropy of hexagonal filters, planar HexaConv provides better accuracy than planar convolution with square filters, given a fixed parameter budget. Furthermore, we find that the increased degree of symmetry of the hexagonal grid increases the effectiveness of group convolutions, by allowing for more parameter sharing. We show that our method significantly outperforms conventional CNNs on the AID aerial scene classification dataset, even outperforming ImageNet pre-trained models.

研究动机与目标

• 开发一种在六边形网格上实现高效组卷积的方法，通过利用六重旋转对称性避免插值。
• 证明在固定参数预算下，六边形像素化可减少各向异性，并在性能上优于方形网格。
• 表明更高阶对称性（p6）可增强组等变网络中的参数共享和模型准确率。
• 评估 HexaConv 在真实世界数据集上的有效性，其中旋转不变性是关键的归纳偏置，如航空影像分类。

提出的方法

• 通过滤波器变换（FT）后接平面六边形卷积，重用现有优化的卷积例程来实现组卷积。
• 使用具有 60 度旋转对称性的六边形网格，实现滤波器的精确旋转而无需插值。
• 网络架构采用修改后的 ResNet，包含三个阶段，每阶段两个块，使用 p6 群的组卷积。
• 在倒数第二层应用空间和方向通道池化，以实现方向不变性。
• 该方法支持平面卷积和六边形晶格上的组卷积，通过双线性插值实现从方形到六边形网格的高效重采样。
• 通过重用优化的卷积核，实现与标准深度学习框架的兼容性。

实验结果

研究问题

• RQ1 在具有旋转对称性的任务中，六边形晶格上的组卷积是否能优于标准 CNN？
• RQ2 在相同参数预算下，六边形像素化是否能减少各向异性并提升性能，相比方形像素化？
• RQ3 更高的旋转对称性（p6 与 p4）在多大程度上增强参数共享和模型准确率？
• RQ4 镜像对称性（p6m）在航空影像分类中是否有益，还是在此情境下冗余？

主要发现

• 使用 p6 组卷积的 HexaConv 在 AID 航空影像分类数据集上达到 8.6% 的测试误差，显著优于基线 Z²-ResNet 的 19.3% 误差。
• 在相同参数预算下，7 参数滤波器的平面 HexaConv 优于标准 3×3 方形滤波器，归因于减少的各向异性。
• p6 组卷积优于 p4 组卷积，表明更高对称性可带来更好性能。
• 镜像对称性（p6m）未提升性能（误差 9.3%），表明其在 AID 数据集上并非有用的归纳偏置。
• 即使未进行 ImageNet 预训练，p6-ResNet 的准确率仍优于 ImageNet 预训练基线，表明六边形群卷积具有强大的归纳偏置。
• 该方法有效重用了优化的卷积例程，实现了无需自定义内核的高效实现。