[论文解读] Constructing Fast Network through Deconstruction of Convolution

Yunho Jeon, Junmo Kim|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 14被引用 23

一句话总结

本文提出主动位移层（ASL），一种可学习的位移操作，将标准卷积分解为参数化的位移操作与1×1卷积，显著降低参数量和FLOPs。通过反向传播端到端学习实数值位移量，ASL在实现更快推理速度的同时达到SOTA精度，优于MobileNetV2及其他轻量化网络，且参数更少。

ABSTRACT

Convolutional neural networks have achieved great success in various vision tasks; however, they incur heavy resource costs. By using deeper and wider networks, network accuracy can be improved rapidly. However, in an environment with limited resources (e.g., mobile applications), heavy networks may not be usable. This study shows that naive convolution can be deconstructed into a shift operation and pointwise convolution. To cope with various convolutions, we propose a new shift operation called active shift layer (ASL) that formulates the amount of shift as a learnable function with shift parameters. This new layer can be optimized end-to-end through backpropagation and it can provide optimal shift values. Finally, we apply this layer to a light and fast network that surpasses existing state-of-the-art networks.

研究动机与目标

• 为解决深度卷积神经网络在移动设备等资源受限环境中的高计算与内存开销问题。
• 通过重新思考卷积的基本组成，降低模型复杂度而不牺牲准确率。
• 提出一种可学习的位移机制，替代现有轻量化网络中固定的或启发式位移分配。
• 通过端到端训练位移参数，实现更优的准确率-复杂度权衡。

提出的方法

• 将标准卷积分解为两个操作：可学习的位移操作，随后接1×1逐点卷积。
• 引入主动位移层（ASL），其中位移量被参数化，并通过反向传播使用实数值参数进行优化。
• 使用可学习函数动态确定每张特征图的位移值，实现感受野的自适应扩展。
• 在残差网络架构中应用ASL（AS-ResNet），构建轻量化、快速且准确的模型。
• 采用端到端训练联合优化位移参数与网络权重，使网络能够学习最优的位移分布。
• 采用初始化策略（如均匀分布或高斯分布）对位移参数进行初始化，以评估可学习性与实数值位移的影响。

实验结果

研究问题

• RQ1 卷积能否被有效分解为位移操作与1×1卷积，以降低计算成本？
• RQ2 与启发式或固定位移分配相比，端到端学习位移参数是否能提升性能？
• RQ3 可学习位移机制能否有效模拟各类卷积，包括空洞卷积与分组卷积？
• RQ4 与仅使用整数位移相比，使用实数值位移参数在准确率与效率方面提升程度如何？
• RQ5 基于ASL构建的网络能否在参数更少、推理速度更快的前提下，实现SOTA准确率，超越现有轻量化模型？

主要发现

• 主动位移层（ASL）在ImageNet上仅使用342万参数与7.29亿FLOPs，实现了72.2%的top-1准确率，推理时间相近时优于MobileNetV2。
• 训练实数值位移参数（TR）相比启发式分组位移（GS）提升了4.3个百分点的准确率，证明了可学习性的优势。
• 使用实数值位移（SR）相比整数采样（SI）提升了2.1个百分点的准确率，表明向实数域的松弛可增强性能。
• AS-ResNet-w32模型仅使用90万参数与1.71亿FLOPs，实现了64.1%的top-1准确率，准确率超越ShiftNet与SqueezeNet，且复杂度更低。
• 该网络在CPU上运行时间为47.9ms，在GPU上为6.73ms，准确率优于MobileNetV2，同时保持相当或更快的推理速度。
• 消融实验表明，实数值位移域与位移参数的端到端学习对性能提升至关重要。