[论文解读] Dynamic Distribution Pruning for Efficient Network Architecture Search

Xiawu Zheng, Rongrong Ji+6 more|arXiv (Cornell University)|May 28, 2019

Advanced Neural Network Applications参考文献 32被引用 16

一句话总结

本文提出动态分布剪枝以实现高效的神经架构搜索（NAS），通过基于架构联合分类分布迭代剪枝搜索空间，加速搜索过程。该方法在仅使用1.5 GPU小时和2 GPU天分别完成CIFAR-10和ImageNet的搜索任务下，实现了SOTA性能——CIFAR-10测试误差为1.9%，ImageNet Top-1准确率为75.2%，相较之前方法分别实现了超过1,000倍和100%的速度提升。

ABSTRACT

Network architectures obtained by Neural Architecture Search (NAS) have shown state-of-the-art performance in various computer vision tasks. Despite the exciting progress, the computational complexity of the forward-backward propagation and the search process makes it difficult to apply NAS in practice. In particular, most previous methods require thousands of GPU days for the search process to converge. In this paper, we propose a dynamic distribution pruning method towards extremely efficient NAS, which samples architectures from a joint categorical distribution. The search space is dynamically pruned every a few epochs to update this distribution, and the optimal neural architecture is obtained when there is only one structure remained. We conduct experiments on two widely-used datasets in NAS. On CIFAR-10, the optimal structure obtained by our method achieves the state-of-the-art $1.9$\% test error, while the search process is more than $1,000$ times faster (only $1.5$ GPU hours on a Tesla V100) than the state-of-the-art NAS algorithms. On ImageNet, our model achieves 75.2\% top-1 accuracy under the MobileNet settings, with a time cost of only $2$ GPU days that is $100\%$ acceleration over the fastest NAS algorithm. The code is available at \url{ this https URL}

研究动机与目标

• 为解决现有NAS方法计算成本过高的问题，这些方法通常需要数千 GPU 天才能收敛。
• 在保持或提升模型性能的同时，显著缩短神经架构搜索的搜索时间。
• 开发一种基于性能分布动态剪枝搜索空间的方法，以加速收敛。
• 通过大幅减少训练时间，使NAS在实际应用中具备可部署性。

提出的方法

• 该方法从搜索空间上的联合分类分布中采样架构。
• 每隔若干个周期，根据采样架构的性能分布动态剪枝搜索空间。
• 剪枝过程会移除低性能的架构组件，使分布逐步聚焦于最优结构。
• 搜索持续进行，直到仅剩一个架构，该架构被选为最优架构。
• 该方法利用基于梯度的分布更新，实现高效的探索与利用。
• 该方法端到端应用，无需单独的搜索与评估阶段。

实验结果

研究问题

• RQ1 我们能否在保持SOTA性能的同时，显著降低NAS的计算成本？
• RQ2 基于性能分布对搜索空间进行动态剪枝，在加速收敛方面有多高效？
• RQ3 所提方法能否在大幅缩短搜索时间下，于CIFAR-10和ImageNet上实现SOTA准确率？
• RQ4 所提框架中，搜索效率与模型性能之间的权衡如何？
• RQ5 与静态或固定搜索空间方法相比，动态分布剪枝在收敛速度和准确率方面表现如何？

主要发现

• 在CIFAR-10上，该方法仅用1.5 GPU小时的搜索时间即达到SOTA的1.9%测试误差，相较之前NAS方法实现超过1,000倍的速度提升。
• 在MobileNet设置下的ImageNet上，该方法仅用2 GPU天即达到75.2%的Top-1准确率，比现有最快NAS算法快100%。
• 由于对低性能架构的动态剪枝，搜索过程快速收敛，有效搜索空间随时间不断缩小。
• 该方法在大幅降低计算成本的同时保持高准确率，展现出优异的效率-准确率权衡。
• 代码已公开，支持可复现性，并推动高效NAS的进一步研究。