[论文解读] AutoSlim: Towards One-Shot Architecture Search for Channel Numbers

Jiahui Yu, Thomas S. Huang|arXiv (Cornell University)|Mar 27, 2019

Advanced Neural Network Applications参考文献 60被引用 145

一句话总结

AutoSlim 训练一个可在不同通道配置下估计准确度的可瘦网络，并贪婪地逐层缩减以满足资源约束，从而在不进行穷举搜索的情况下得到优化的通道数。在 ImageNet 上对 MobileNet 变体和 ResNet-50 的速度-精度权衡优于基线。

ABSTRACT

We study how to set channel numbers in a neural network to achieve better accuracy under constrained resources (e.g., FLOPs, latency, memory footprint or model size). A simple and one-shot solution, named AutoSlim, is presented. Instead of training many network samples and searching with reinforcement learning, we train a single slimmable network to approximate the network accuracy of different channel configurations. We then iteratively evaluate the trained slimmable model and greedily slim the layer with minimal accuracy drop. By this single pass, we can obtain the optimized channel configurations under different resource constraints. We present experiments with MobileNet v1, MobileNet v2, ResNet-50 and RL-searched MNasNet on ImageNet classification. We show significant improvements over their default channel configurations. We also achieve better accuracy than recent channel pruning methods and neural architecture search methods. Notably, by setting optimized channel numbers, our AutoSlim-MobileNet-v2 at 305M FLOPs achieves 74.2% top-1 accuracy, 2.4% better than default MobileNet-v2 (301M FLOPs), and even 0.2% better than RL-searched MNasNet (317M FLOPs). Our AutoSlim-ResNet-50 at 570M FLOPs, without depthwise convolutions, achieves 1.3% better accuracy than MobileNet-v1 (569M FLOPs). Code and models will be available at: https://github.com/JiahuiYu/slimmable_networks

研究动机与目标

• 说明在资源受限的情况下，如何设置每层的通道数以提升准确度。
• 提出一种一次性方法，在不训练多种架构的情况下估计并优化通道配置。
• 证明可瘦网络可以作为跨通道配置的相对性能的准确估计器。
• 在 ImageNet 上展示 MobileNet 变体、MNasNet 和 ResNet-50 在不同 FLOPs预算下的最优准确性与效率权衡。

提出的方法

• 训练一个可在任意宽度下运行的可瘦网络，使用夹层（sandwich）规则和就地蒸馏。
• 通过在缩减每一层的通道组后评估验证集准确度并移除最低准确度下降的那一个，贪婪地缩减层。
• 迭代直到达到指定的资源约束（FLOPs、延迟、内存或模型大小）。
• 使用训练好的可瘦模型对子架构进行采样以实现即时推断和相对性能估计。
• 搜索结束后，将得到的优化架构从头训练若干个完整周期（或作为一个可瘦网络联合训练）。
• 在 ImageNet 上与默认通道配置、通道剪枝基线以及基于 NAS 的方法进行比较。

实验结果

研究问题

• RQ1 单个可瘦网络是否能准确估计多种通道配置的相对性能？
• RQ2 在给定资源约束下，对已训练的可瘦网络进行贪婪缩减能否产生近似最优的通道配置？
• RQ3 优化后的通道配置是否在准确度和效率方面超越标准启发式、剪枝或以前的 NAS 结果？
• RQ4 在不同 FLOPs 预算下，AutoSlim 推导的配置在 MobileNet 变体、MNasNet 和 ResNet-50 上的表现如何？

主要发现

• AutoSlim 在匹配 FLOPs 预算下，提升了 MobileNet v1/v2、MnasNet 和 ResNet-50 相对于默认通道配置的 top-1 准确率。
• AutoSlim-MobileNet-v2 在 305M FLOPs 下达到 74.2% top-1，超出默认 MobileNet-v2 2.4%，并在 317M FLOPs 的 RL 搜索 MNasNet 之上 0.2%。
• AutoSlim-ResNet-50 在 570M FLOPs（无深度卷积）下比 MobileNet-v1 在 569M FLOPs 的准确率高 1.3%。
• 与默认值相比，优化后的通道配置倾向于减少浅层通道、增加深层通道，这在 MobileNet v2 的分析中尤为明显。
• AutoSlim 可以超过最近的通道剪枝和 NAS 基线，在 ImageNet 分类任务中表现更佳。