[论文解读] GOLD-NAS: Gradual, One-Level, Differentiable

Kaifeng Bi, Lingxi Xie+3 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications参考文献 41被引用 29

一句话总结

GOLD-NAS 提出了一种渐进式、单级可微神经架构搜索框架，通过扩展传统约束之外的搜索空间，实现资源受限的渐进式剪枝，从而发现帕累托最优架构。该方法在 CIFAR-10（2.99% 错误率，1.58M 参数）和 ImageNet（23.9% 的 top-1 错误率）上实现了最先进水平的准确率-效率权衡，且搜索成本极低。

ABSTRACT

There has been a large literature of neural architecture search, but most existing work made use of heuristic rules that largely constrained the search flexibility. In this paper, we first relax these manually designed constraints and enlarge the search space to contain more than $10^{160}$ candidates. In the new space, most existing differentiable search methods can fail dramatically. We then propose a novel algorithm named Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) which introduces a variable resource constraint to one-level optimization so that the weak operators are gradually pruned out from the super-network. In standard image classification benchmarks, GOLD-NAS can find a series of Pareto-optimal architectures within a single search procedure. Most of the discovered architectures were never studied before, yet they achieve a nice tradeoff between recognition accuracy and model complexity. We believe the new space and search algorithm can advance the search of differentiable NAS.

研究动机与目标

• 为克服现有可微 NAS 方法中启发式约束对搜索空间的限制，提升灵活性。
• 通过引入渐进式剪枝机制，解决单级 NAS 中双层优化带来的不稳定性和高计算成本问题。
• 在单次搜索过程中，实现对多种硬件约束下帕累托最优架构的发现。
• 减少因操作符剪枝中突变离散化导致的优化差距，提升搜索可靠性。

提出的方法

• 通过移除固定细胞结构，将搜索空间扩展至超过 10^160 个候选架构，允许每条边的算子数量可变，且每个节点的输入分支数可任意配置。
• 采用单级可微优化，联合训练权重与架构参数，避免双层优化带来的计算负担。
• 引入随时间动态变化的资源约束（如 FLOPs），作为正则化手段，引导弱算子的渐进式剪枝。
• 采用渐进式剪枝策略，根据当前资源预算系统性地移除贡献较低的算子，从而最小化离散化误差。
• 在整个训练过程中保持完整的超网络，架构决策自然地从可微优化过程中涌现。
• 应用随训练轮次演化的渐进式正则化调度，确保稳定收敛，避免性能突降。

实验结果

研究问题

• RQ1 在极小启发式约束下显著扩展的搜索空间，是否能带来更优且更多样化的神经架构？
• RQ2 在传统方法因离散化误差而失效的超大搜索空间中，单级可微 NAS 如何实现稳定？
• RQ3 由资源约束引导的渐进式剪枝策略，是否在准确率与鲁棒性上优于一次性剪枝？
• RQ4 单次搜索过程在多大程度上能发现跨不同效率约束的帕累托最优架构前沿？
• RQ5 所提方法在具有多样化硬件与延迟要求的实际部署场景中是否具备泛化能力？

主要发现

• GOLD-NAS 仅用 0.4 GPU 天即在 CIFAR-10 上发现了一系列帕累托最优架构，测试错误率低至 2.99% ± 0.05%，参数量为 1.58 百万。
• 在移动设备设置下的 ImageNet 上，GOLD-NAS 实现了 23.9% 的 top-1 错误率，展现出强大的准确率-效率权衡能力。
• 该方法成功导航了超过 10^160 个架构的搜索空间，远超以往 NAS 方法的规模。
• 架构搜索结果表明，后期阶段更倾向于使用参数化算子（如 sep-conv-3x3），表明网络深度上实现了灵活的资源分配。
• 与一次性剪枝相比，渐进式剪枝机制显著降低了离散化误差，提升了搜索稳定性。
• 该框架稳定、快速且易于部署，代码已公开，支持在科研与工程领域更广泛的应用。