[论文解读] Active Convolution: Learning the Shape of Convolution for Image Classification

Yunho Jeon, Junmo Kim|arXiv (Cornell University)|Mar 27, 2017

Advanced Neural Network Applications参考文献 27被引用 13

一句话总结

本文提出主动卷积单元（ACU），一种可学习的卷积操作，其感受野的空间形状和位置可通过反向传播进行微分和优化。通过允许分数阶和可变形的感受野，ACU在不改变网络结构的前提下，使ImageNet上的图像分类准确率提升最高达0.79%，Place365数据集上提升最高达0.49%，展现出相较于标准卷积更优越的表征能力。

ABSTRACT

In recent years, deep learning has achieved great success in many computer vision applications. Convolutional neural networks (CNNs) have lately emerged as a major approach to image classification. Most research on CNNs thus far has focused on developing architectures such as the Inception and residual networks. The convolution layer is the core of the CNN, but few studies have addressed the convolution unit itself. In this paper, we introduce a convolution unit called the active convolution unit (ACU). A new convolution has no fixed shape, because of which we can define any form of convolution. Its shape can be learned through backpropagation during training. Our proposed unit has a few advantages. First, the ACU is a generalization of convolution; it can define not only all conventional convolutions, but also convolutions with fractional pixel coordinates. We can freely change the shape of the convolution, which provides greater freedom to form CNN structures. Second, the shape of the convolution is learned while training and there is no need to tune it by hand. Third, the ACU can learn better than a conventional unit, where we obtained the improvement simply by changing the conventional convolution to an ACU. We tested our proposed method on plain and residual networks, and the results showed significant improvement using our method on various datasets and architectures in comparison with the baseline.

研究动机与目标

• 解决卷积神经网络中固定形状卷积核的刚性问题，该问题限制了表征灵活性。
• 通过可微分的位置参数，实现端到端学习卷积核形状，包括分数阶和非网格位置。
• 通过用ACUs替换标准卷积，无需网络结构修改即可提升图像分类性能。
• 探究可学习感受野是否能增强普通网络和残差网络中的特征表示。

提出的方法

• ACU为每个核元素引入可学习的位置参数，使感受野在训练过程中可空间变形。
• 通过相邻神经元之间的双线性插值计算输出，支持跨神经元空间的连接。
• 位置参数通过反向传播更新，使网络能够端到端学习最优核形状。
• ACU泛化了标准卷积，可表示空洞、分数阶或不规则形状的核。
• 初始阶段采用固定位置的预热训练阶段，以稳定训练过程，之后再启用位置参数更新。
• 通过将$3\times3$卷积替换为ACUs，将该方法应用于AlexNet和ResNet等标准CNN。

实验结果

研究问题

• RQ1 可学习、可变形的卷积核形状是否能提升图像分类性能？
• RQ2 在普通网络和残差网络中，ACU是否优于标准卷积？
• RQ3 在不同网络深度和数据集复杂度下，学习到的感受野形状有何差异？
• RQ4 ACU是否无需网络结构重新设计即可在不同数据集和架构上泛化？

主要发现

• 在AlexNet中将$3\times3$卷积替换为ACUs后，在Place365验证集上，top-1准确率提升0.6%，top-5准确率提升0.79%。
• 在26层残差网络中，ACUs仅增加128个参数，便使top-5准确率提升0.49%。
• ACU学习到了非网格、不规则的感受野模式，如多个感受野的组合，尤其在深层网络中更为明显。
• 预热阶段结束后，ACU网络的测试误差显著下降，表明形状学习有效。
• 在深层网络中，ACU学习到的形状更复杂且更大，尤其在Place365数据集的大尺寸图像上表现更明显。
• ACU在多个数据集和网络架构上均实现了稳定的性能提升，展现出良好的泛化能力和鲁棒性。