[论文解读] MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation

Chaoyang He, Haishan Ye+2 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Neural Network Applications参考文献 32被引用 8

一句话总结

MiLeNAS 提出了一种神经架构搜索（NAS）的混合层次重构方法，结合了两阶段优化与单阶段优化，以减少两阶段方法中因二阶近似带来的梯度误差，同时保留了一阶优化的效率。它在仅 5 小时内即实现了 SOTA 准确率——CIFAR-10 上误差率为 2.51%，ImageNet 上 top-1 误差率为 24.7%，优于 DARTS 和 GDAS，且通过基于模型参数量的搜索与早停策略，实现了更快、更稳定的搜索过程。

ABSTRACT

Many recently proposed methods for Neural Architecture Search (NAS) can be formulated as bilevel optimization. For efficient implementation, its solution requires approximations of second-order methods. In this paper, we demonstrate that gradient errors caused by such approximations lead to suboptimality, in the sense that the optimization procedure fails to converge to a (locally) optimal solution. To remedy this, this paper proposes \mldas, a mixed-level reformulation for NAS that can be optimized efficiently and reliably. It is shown that even when using a simple first-order method on the mixed-level formulation, \mldas\ can achieve a lower validation error for NAS problems. Consequently, architectures obtained by our method achieve consistently higher accuracies than those obtained from bilevel optimization. Moreover, \mldas\ proposes a framework beyond DARTS. It is upgraded via model size-based search and early stopping strategies to complete the search process in around 5 hours. Extensive experiments within the convolutional architecture search space validate the effectiveness of our approach.

研究动机与目标

• 解决现有方法中因二阶近似导致的两阶段 NAS 梯度误差问题。
• 开发一种更稳定、更高效的 NAS 框架，避免单阶段优化中常见的过拟合问题。
• 在不依赖复杂二阶近似的情况下，实现更快的收敛速度与更高的准确率。
• 引入实用的搜索策略——基于模型参数量的搜索与早停策略，加速搜索过程并提供设计洞见。

提出的方法

• 将 NAS 重构为混合层次优化问题，联合最小化架构权重 α 的训练损失与验证损失，以及网络权重 w 的训练损失。
• 引入超参数 λ，用于在单阶段（λ=0）与两阶段（λ→∞）优化之间插值，实现两种范式之间的平滑过渡。
• 在混合层次公式上使用一阶优化，避免了二阶两阶段近似中固有的梯度误差。
• 通过跟踪每个单元中卷积操作的数量，实施基于模型参数量的搜索，以引导搜索向最优参数复杂度权衡方向进行。
• 基于模型参数量各阶段的性能收敛情况，实施一种早停策略，将搜索时间减少至约 5 小时。
• 通用地扩展 DARTS 框架，以支持可微与采样式搜索空间。

实验结果

研究问题

• RQ1 混合层次优化公式是否能在保持计算效率的同时减少 NAS 中的梯度误差？
• RQ2 结合单阶段与两阶段目标是否能带来比纯单阶段或纯两阶段方法更优的泛化能力与更低的验证误差？
• RQ3 基于模型参数量的搜索与早停策略是否能显著加速 NAS 而不损失准确率？
• RQ4 MiLeNAS 在不同搜索空间（包括采样式与可微 NAS）中是否均表现有效？

主要发现

• 在 CIFAR-10 上，MiLeNAS 实现了 2.51% ± 0.11% 的验证误差（最佳值：2.34%），优于 DARTS（2.76%）与 GDAS（2.82%），误差降低超过 0.2 个百分点。
• 在 ImageNet 上，MiLeNAS 实现了 24.7% 的 top-1 误差率与 7.6% 的 top-5 误差率，优于两阶段方法 1–2 个百分点。
• MiLeNAS 仅用约 5 小时完成搜索过程，是二阶两阶段优化方法的三倍快。
• 基于模型参数量的搜索揭示了在 3.5M 至 4.5M 参数之间存在明显的性能平台，表明在此范围之外增加参数量不再带来准确率提升。
• 早停策略在正常单元达到 6 个卷积、降采样单元为 0 个卷积时触发，有效加速了搜索过程，且未影响最终准确率。
• MiLeNAS 展现出通用适用性，在可微（DARTS）与采样式（GDAS）搜索空间中均取得了更优结果。