[论文解读] AugShuffleNet: Communicate More, Compute Less

Longqing Ye|arXiv (Cornell University)|Mar 13, 2022

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出了一种增强型高效CNN架构——AugShuffleNet，其将ShuffleNetV2原始的shuffle模块替换为类似瓶颈结构的增强型shuffle模块，该模块具有隐式短连接和可调节的通道分割比例。通过灵活的分割比例减少通道冗余并改善信息流动，AugShuffleNet在CIFAR-10和CIFAR-100数据集上均实现了比ShuffleNetV2更高的准确率，且在所有宽度乘数下FLOPs更低、参数量更少。

ABSTRACT

As a remarkable compact model, ShuffleNetV2 offers a good example to design efficient ConvNets but its limit is rarely noticed. In this paper, we rethink the design pattern of ShuffleNetV2 and find that the channel-wise redundancy problem still constrains the efficiency improvement of Shuffle block in the wider ShuffleNetV2. To resolve this issue, we propose another augmented variant of shuffle block in the form of bottleneck-like structure and more implicit short connections. To verify the effectiveness of this building block, we further build a more powerful and efficient model family, termed as AugShuffleNets. Evaluated on the CIFAR-10 and CIFAR-100 datasets, AugShuffleNet consistently outperforms ShuffleNetV2 in terms of accuracy with less computational cost and fewer parameter count.

研究动机与目标

• 为解决ShuffleNetV2的shuffle模块中长期存在的通道冗余问题，该问题尽管设计紧凑但仍限制了效率提升。
• 开发一种更具灵活性和效率的模块化构建块，以增强跨层信息流动，且不增加计算成本。
• 设计一种新型紧凑CNN系列——AugShuffleNet，使其在保持高准确率的同时降低FLOPs和参数量。
• 在标准图像分类基准上，验证增强型shuffle模块在多种宽度乘数下的有效性。

提出的方法

• 引入一种增强型shuffle模块，用类似瓶颈的结构替代标准shuffle模块，该结构结合1×1卷积、深度可分离卷积以及可调节比例的通道分割。
• 通过将原始特征图与变换阶段的输出融合，引入隐式短连接，从而增强梯度流动和特征复用。
• 引入可学习的分割比例参数（r），用于控制‘特征库’中保留的通道数量，实现计算量与表征能力之间的动态权衡。
• 在整个网络架构中应用该增强模块，用以替换ShuffleNetV2中的所有shuffle模块，形成AugShuffleNet系列。
• 使用标准数据增强（随机裁剪、水平翻转）、SGD优化器配合余弦退火学习率衰减策略，并在CIFAR-10和CIFAR-100上训练300个周期。

实验结果

研究问题

• RQ1 在ShuffleNetV2的模块设计中减少通道冗余，是否能带来更高的准确率和效率？
• RQ2 在增强型shuffle模块中引入灵活的分割比例，对模型性能和计算成本有何影响？
• RQ3 在增强模块中引入隐式短连接，是否能改善训练动态并提升最终准确率？
• RQ4 在CIFAR数据集上，增强型shuffle模块是否能在不同网络宽度下持续优于原始shuffle模块？

主要发现

• AugShuffleNet $1.5\times$ 在CIFAR-10上达到94.40%的top-1准确率，优于ShuffleNetV2 $1.5\times$（93.97%），FLOPs从94.27M降至85.38M。
• 在CIFAR-100上，AugShuffleNet $1.5\times$ 达到75.91%的准确率，超过ShuffleNetV2 $1.5\times$（74.70%），FLOPs从94.36M降至85.47M。
• 对于$0.5\times$宽度变体，AugShuffleNet在CIFAR-10上达到91.05%的准确率，较ShuffleNetV2 $0.5\times$（90.83%）高出0.22%，FLOPs从10.91M降至10.20M。
• 当分割比例$r=0.125$时，其在CIFAR-10上的准确率比$r=0.375$变体高出0.29%，同时仅使用79.6%的FLOPs和76.7%的参数量。
• 消融实验表明，增强模块显著减少了通道冗余，尤其在更宽的网络中，从而提升了效率与性能。