[论文解读] Efficient Neural Architecture Search via Proximal Iterations

Quanming Yao, Ju Xu+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 55被引用 10

一句话总结

NASP 提出了一种新颖的可微神经架构搜索方法，通过使用邻近迭代直接优化离散架构，无需训练超网络或使用二阶近似。该方法相比 SOTA 方法（如 DARTS）实现了超过 10 倍的速度提升，并在保持架构完整性与模型复杂度控制的同时取得更优性能，其核心是基于离散正则化的约束优化框架。

ABSTRACT

Neural architecture search (NAS) recently attracts much research attention because of its ability to identify better architectures than handcrafted ones. However, many NAS methods, which optimize the search process in a discrete search space, need many GPU days for convergence. Recently, DARTS, which constructs a differentiable search space and then optimizes it by gradient descent, can obtain high-performance architecture and reduces the search time to several days. However, DARTS is still slow as it updates an ensemble of all operations and keeps only one after convergence. Besides, DARTS can converge to inferior architectures due to the strong correlation among operations. In this paper, we propose a new differentiable Neural Architecture Search method based on Proximal gradient descent (denoted as NASP). Different from DARTS, NASP reformulates the search process as an optimization problem with a constraint that only one operation is allowed to be updated during forward and backward propagation. Since the constraint is hard to deal with, we propose a new algorithm inspired by proximal iterations to solve it. Experiments on various tasks demonstrate that NASP can obtain high-performance architectures with 10 times of speedup on the computational time than DARTS.

研究动机与目标

• 为解决现有可微 NAS 方法中计算成本高且性能下降的问题，特别是依赖昂贵的超网络训练和二阶近似的问题。
• 将神经架构搜索重新表述为一个约束优化问题，以在保持可微性的同时，在训练过程中强制执行离散架构选择。
• 开发一种基于邻近迭代的高效优化算法，实现对每层仅一个活跃操作的直接、稳定更新，避免操作之间的相关性更新。
• 引入一种正则化器以控制模型复杂度，提升泛化能力与搜索效率。
• 在大规模搜索空间中实现比 SOTA 方法（如 DARTS）更快的收敛速度与更高的性能。

提出的方法

• NASP 将架构搜索建模为一个带有操作离散约束和模型复杂度正则化的约束优化问题。
• 采用邻近迭代求解非凸、非光滑的优化问题，实现稳定且高效的更新。
• 邻近步骤通过闭式解推导得出，强制执行离散架构选择（每层仅一个操作活跃），从而无需使用二阶近似。
• 通过仅直接更新所选操作，避免训练超网络，显著降低前向与反向传播的计算成本。
• 采用懒更新策略以保持架构参数在 [0,1] 范围内，相较于标准邻近算法，提升了收敛性与稳定性。
• 该方法在训练过程中解耦操作，减少干扰，从而在更大搜索空间中实现更有效的搜索。

实验结果

研究问题

• RQ1 是否能够设计一种可微搜索方法，在不训练超网络的前提下实现高性能，从而降低计算成本？
• RQ2 邻近迭代能否被有效适配以在保持可微性与优化效率的同时强制执行离散架构选择？
• RQ3 在架构搜索中移除二阶近似是否能带来更快的收敛速度与更好的性能？
• RQ4 对模型复杂度施加正则化是否能提升 NAS 中的泛化能力与搜索稳定性？
• RQ5 NASP 在速度与精度上相较于 SOTA 方法（如 DARTS）以及同期方法（如 GDAS 和 BayesNAS）表现如何？

主要发现

• 在 CIFAR-10 上，NASP 相较于 DARTS 实现了超过 10 倍的速度提升，验证准确率达到 70.4%，测试准确率达到 69.5%。
• 在 ImageNet 上，NASP 以仅 33M 参数实现了 71.2% 的 top-1 准确率，优于 DARTS（71.2% 准确率但参数量更高），且收敛更快。
• NASP 中的架构参数（记为 $\bar{\mathbf{A}}$）在训练过程中表现出显著更高的稳定性，如随训练轮次演化的操作选择变化所示。
• NASP 在搜索效率与性能上均优于同期方法（如 GDAS 与 BayesNAS），在 PTB 上仅需 0.1 GPU 天的搜索成本，而 GDAS 需 0.4 GPU 天。
• 消融研究证实，直接邻近更新因离散约束而失效，且懒更新策略对性能至关重要，优于标准邻近算法。
• 由于离散架构更新稳定了架构参数的动力学行为，NASP 无需使用二阶近似，使得此类近似变得不再必要。