[论文解读] ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions

Hongyang Gao, Zhengyang Wang+1 more|arXiv (Cornell University)|Sep 5, 2018

Advanced Neural Network Applications被引用 32

一句话总结

ChannelNets 通过用稀疏、结构化的通道连接替代密集的跨特征图连接，引入通道卷积以压缩深度卷积神经网络。通过采用分组通道卷积、深度可分离通道卷积以及一种新型卷积分类层，ChannelNets 实现了最先进的效率-精度权衡，在保持或提升 ImageNet 上准确率的同时，显著减少了参数量和 FLOPs，尤其值得注意的是，首次实现了对全连接分类层的压缩。

ABSTRACT

Convolutional neural networks (CNNs) have shown great capability of solving various artificial intelligence tasks. However, the increasing model size has raised challenges in employing them in resource-limited applications. In this work, we propose to compress deep models by using channel-wise convolutions, which re- place dense connections among feature maps with sparse ones in CNNs. Based on this novel operation, we build light-weight CNNs known as ChannelNets. Channel- Nets use three instances of channel-wise convolutions; namely group channel-wise convolutions, depth-wise separable channel-wise convolutions, and the convolu- tional classification layer. Compared to prior CNNs designed for mobile devices, ChannelNets achieve a significant reduction in terms of the number of parameters and computational cost without loss in accuracy. Notably, our work represents the first attempt to compress the fully-connected classification layer, which usually accounts for about 25% of total parameters in compact CNNs. Experimental results on the ImageNet dataset demonstrate that ChannelNets achieve consistently better performance compared to prior methods.

研究动机与目标

• 为解决在移动和边缘设备等资源受限环境中深度卷积神经网络模型尺寸增长和计算成本增加的问题。
• 在不牺牲准确率的前提下，减少卷积神经网络中的参数量和 FLOPs，尤其针对在紧凑模型中占约 25% 参数量的全连接分类层。
• 提出一种新型轻量级卷积神经网络家族——ChannelNets，采用新颖的稀疏通道连接模式，替代传统的密集特征图连接。
• 证明通过结构化卷积操作，可以有效利用特征图连接中的稀疏性，特别是最终分类层中的稀疏性。

提出的方法

• 提出通道卷积，以稀疏、通道特定的连接替代密集的跨特征图连接，从而减少参数量和 FLOPs。
• 引入分组通道卷积作为信息融合层，通过在通道上共享稀疏权重，将分组的特征图进行组合。
• 通过将深度可分离卷积中的标准 1×1 卷积替换为通道卷积，设计出深度可分离通道卷积，减少计算量的同时保持表征能力。
• 开发一种卷积分类层，通过在特征图上使用空间卷积替代全连接层，实现参数高效的稀疏预测，每个类别仅激活 (m−n+1) 个特征。
• 在统一架构——ChannelNets 中整合上述组件：在早期和中间模块中使用分组通道卷积和深度可分离通道卷积，在最后层使用卷积分类层。
• 使用标准训练协议从头开始训练 ChannelNets，避免对预训练模型进行微调，以确保端到端的高效性和紧凑性。

实验结果

研究问题

• RQ1 能否通过用稀疏、通道特定的连接替代密集的跨特征图连接，在不损失准确率的前提下显著减少卷积神经网络的模型尺寸和计算成本？
• RQ2 是否可行且有效通过结构化卷积层压缩全连接分类层——这在紧凑卷积神经网络中通常是第二大参数来源？
• RQ3 与标准分组卷积相比，分组通道卷积在准确率和参数效率方面表现如何？
• RQ4 深度可分离通道卷积是否在准确率和 FLOP 效率方面优于标准深度可分离卷积？
• RQ5 全连接层权重中固有的稀疏性在多大程度上支持卷积分类层的设计？

主要发现

• ChannelNet-v2 在参数量约 230 万个（与 0.75x MobileNet 相当）的情况下，Top-1 准确率比 0.75x MobileNet 高 1.1%，证明了深度可分离通道卷积的有效性。
• ChannelNet-v3 在参数量约 110 万个（与 0.5x MobileNet 相当）的情况下，Top-1 准确率比 0.5x MobileNet 高 3%，表明其具有更优的压缩效率和准确率保持能力。
• 使用分组通道卷积的 ChannelNet-v1 比其无该结构的变体在 Top-1 准确率上高出 0.8%，且仅增加 32 个参数，证明了该方法的高效性和有效性。
• ChannelNet-v1 中全连接分类层的权重矩阵呈现稀疏分布，验证了所提卷积分类层设计原理的合理性。
• 对 ChannelNet-v1 应用宽度乘数会导致性能下降，表明所提出的通道卷积组件在模型压缩方面比宽度缩放更有效。
• 所提出的卷积分类层成功压缩了全连接层——此前在模型压缩中被忽视的部分——使 ChannelNets 成为首个实现此目标的紧凑卷积神经网络家族。