[论文解读] Accelerating Deep Neural Networks with Spatial Bottleneck Modules

Junran Peng, Lingxi Xie+3 more|arXiv (Cornell University)|Sep 7, 2018

Advanced Neural Network Applications参考文献 38被引用 9

一句话总结

本文提出空间瓶颈模块，一种轻量级网络结构组件，通过先使用步长为2的卷积降低特征图的空间分辨率，再通过转置卷积恢复原始尺寸，从而加速卷积神经网络，在ImageNet和CIFAR-100上实现高达2倍的推理速度提升，同时保持或提升准确率。该方法独立作用于空间域，可与现有的通道压缩技术互补。

ABSTRACT

This paper presents an efficient module named spatial bottleneck for accelerating the convolutional layers in deep neural networks. The core idea is to decompose convolution into two stages, which first reduce the spatial resolution of the feature map, and then restore it to the desired size. This operation decreases the sampling density in the spatial domain, which is independent yet complementary to network acceleration approaches in the channel domain. Using different sampling rates, we can tradeoff between recognition accuracy and model complexity. As a basic building block, spatial bottleneck can be used to replace any single convolutional layer, or the combination of two convolutional layers. We empirically verify the effectiveness of spatial bottleneck by applying it to the deep residual networks. Spatial bottleneck achieves 2x and 1.4x speedup on the regular and channel-bottlenecked residual blocks, respectively, with the accuracies retained in recognizing low-resolution images, and even improved in recognizing high-resolution images.

研究动机与目标

• 为解决深度神经网络中卷积层带来的高计算开销，尤其是在实时应用中的问题。
• 探索尚未充分开发的空间域压缩方法，作为现有通道压缩加速技术的补充途径。
• 设计一种通用、可替换的模块，减少FLOPs而不增加网络深度。
• 评估空间稀疏化对不同网络深度下识别准确率和推理速度的影响。
• 证明减少空间采样可提升泛化能力，尤其在更深的网络中。

提出的方法

• 空间瓶颈模块将卷积分解为两个阶段：首先使用步长为2的卷积将特征图的空间尺寸减半，随后通过转置卷积将其恢复至原始大小。
• 该方法采用国际象棋式采样策略对空间采样进行稀疏化，减少计算量的同时保持特征表示能力。
• 该模块可作为任意单个卷积层或连续两个卷积层的即插即用替代品。
• 在替换两个卷积层时，保留其后的非线性激活和归一化层，但在卷积与转置卷积之间省略这些层以保持线性并避免深度增加。
• 该方法被应用于ResNet架构中的残差块，包括标准版本和通道瓶颈变体。
• 在ImageNet和CIFAR-100上，使用SGD配合Nesterov动量、数据增强和学习率衰减策略从头开始训练。

实验结果

研究问题

• RQ1 通过两阶段卷积-转置卷积过程降低空间分辨率，能否有效加速深度神经网络？
• RQ2 与标准卷积层相比，通过空间瓶颈模块实现的空间稀疏化是否能保持或提升识别准确率？
• RQ3 空间瓶颈模块在不同网络深度和架构下的性能表现如何？
• RQ4 空间瓶颈能否在保持与现有网络设计兼容的同时实现显著的速度提升？
• RQ5 减少空间采样是否能提升泛化能力，尤其是在更深的网络中？

主要发现

• 在标准残差块上，空间瓶颈实现了2倍的推理速度提升，在通道瓶颈残差块上实现了1.4倍的速度提升，且在CIFAR-100上未造成准确率损失。
• 在ImageNet上，空间瓶颈使101层ResNet的top-1准确率提升0.47%，top-5准确率提升0.25%，FLOPs减少27%。
• 与基线相比，ResNet-101的top-1错误率下降2.03%，top-5错误率下降3.69%，表明在减少计算量的同时提升了泛化能力。
• 当学习率足够小时，该方法在更深网络（ResNet-34和ResNet-101）中持续提升了测试准确率，表明其具有更优的优化行为。
• 空间瓶颈网络在准确率-FLOPs权衡上优于先前方法，其性能超越了以牺牲准确率为代价换取速度的方案。
• 该方法在低分辨率和高分辨率图像识别任务中均表现有效，高分辨率ImageNet图像上也观察到了准确率提升。