[论文解读] Design of Efficient Convolutional Layers using Single Intra-channel Convolution, Topological Subdivisioning and Spatial "Bottleneck" Structure

Min Wang, Baoyuan Liu+1 more|arXiv (Cornell University)|Aug 15, 2016

Advanced Antenna and Metasurface Technologies被引用 31

一句话总结

本文提出了一种新型卷积层设计，通过单通道内卷积（SIC）将空间与通道操作解耦，采用拓扑细分化方法实现连接稀疏化，并引入空间“瓶颈”结构在保持分辨率的同时降低计算量。该方法在保持相近准确率的前提下，使FLOPs相比ResNet-50和ResNet-101降低了4.5×至6.5×。

ABSTRACT

Deep convolutional neural networks achieve remarkable visual recognition performance, at the cost of high computational complexity. In this paper, we have a new design of efficient convolutional layers based on three schemes. The 3D convolution operation in a convolutional layer can be considered as performing spatial convolution in each channel and linear projection across channels simultaneously. By unravelling them and arranging the spatial convolution sequentially, the proposed layer is composed of a single intra-channel convolution, of which the computation is negligible, and a linear channel projection. A topological subdivisioning is adopted to reduce the connection between the input channels and output channels. Additionally, we also introduce a spatial "bottleneck" structure that utilizes a convolution-projection-deconvolution pipeline to take advantage of the correlation between adjacent pixels in the input. Our experiments demonstrate that the proposed layers remarkably outperform the standard convolutional layers with regard to accuracy/complexity ratio. Our models achieve similar accuracy to VGG, ResNet-50, ResNet-101 while requiring 42, 4.5, 6.5 times less computation respectively.

研究动机与目标

• 在不牺牲准确率的前提下，降低标准卷积层在深度CNN中的计算复杂度。
• 解决标准3D卷积将空间与通道操作合并于单一冗余计算中导致的效率低下问题。
• 探索能够同时优化计算与模型性能的架构创新。
• 通过从零开始重新思考卷积层的基本设计，实现高效训练与推理。
• 提供一种与模型微调或基于分解的方法正交的高效层设计综合框架。

提出的方法

• 将标准3D卷积分解为顺序的2D通道内卷积，随后进行线性通道投影，从而减少冗余。
• 引入单通道内卷积（SIC）层，每个输入通道应用一个滤波器，最小化计算量并支持顺序处理。
• 采用拓扑细分化方法，在张量化布局中通过限制每个输出通道仅连接到附近输入通道，创建结构化稀疏模式。
• 利用步幅卷积、线性投影和反卷积构建空间“瓶颈”结构，临时降低空间分辨率，从而降低通道投影的计算成本。
• 将SIC、拓扑细分化与空间瓶颈整合为统一的高效层设计，在降低FLOPs的同时保持高准确率。
• 利用拓扑细分化产生的规则稀疏模式，实现高效的GPU实现，优于不规则稀疏核方法。

实验结果

研究问题

• RQ1 在卷积层中解耦空间与通道操作，能否显著降低计算复杂度？
• RQ2 通过拓扑细分化实现的结构化稀疏性，如何影响卷积层的效率-准确率权衡？
• RQ3 空间“瓶颈”结构在深度网络中，能在多大程度上在降低计算量的同时保持特征分辨率？
• RQ4 SIC、拓扑细分化与空间瓶颈的组合，能否在不降低准确率的前提下实现相比标准CNN的卓越效率？
• RQ5 是否可能从零开始设计更高效的卷积层，而非对预训练模型进行剪枝或分解？

主要发现

• 所提模型相比VGG将FLOPs降低了42倍，同时保持相似的top-1准确率（VGG为27.07%，本模型也为27.07%）。
• 对于ResNet-50，所提模型将FLOPs降低4.5倍（从3800M降至845M），top-1错误率仅增加0.26%（24.7% vs. 24.76%）。
• 对于ResNet-101，模型将FLOPs降低6.5倍（从7600M降至1172M），top-1错误率仅增加0.37%（23.6% vs. 23.99%）。
• SIC层中学习到的卷积核相比标准卷积层表现出更高的结构规律性，表明具有更强的隐式正则化能力。
• 拓扑细分化框架由于其规则稀疏模式，能够实现高效实现，优于不规则稀疏卷积方法。
• 空间“瓶颈”结构通过反卷积有效降低了线性通道投影的计算成本，同时通过反卷积保持了空间分辨率。