[论文解读] Evolving Search Space for Neural Architecture Search

Yuanzheng Ci, Lin Chen+4 more|arXiv (Cornell University)|Nov 22, 2020

Advanced Neural Network Applications参考文献 63被引用 6

一句话总结

该论文提出神经搜索空间进化（NSE），一种新颖的神经架构搜索（NAS）框架，通过迭代地在子集上进行搜索并用未探索的操作填充，逐步演化搜索空间。通过维持帕累托最优的搜索空间并实现持续的知识保留，NSE 在仅 333M FLOPs 的条件下实现了 ImageNet 上 77.3% 的 top-1 准确率——在无需知识蒸馏或剪枝的 NAS 生成模型中达到最先进水平，同时在延迟约束下也优于移动模型。

ABSTRACT

The automation of neural architecture design has been a coveted alternative to human experts. Recent works have small search space, which is easier to optimize but has a limited upper bound of the optimal solution. Extra human design is needed for those methods to propose a more suitable space with respect to the specific task and algorithm capacity. To further enhance the degree of automation for neural architecture search, we present a Neural Search-space Evolution (NSE) scheme that iteratively amplifies the results from the previous effort by maintaining an optimized search space subset. This design minimizes the necessity of a well-designed search space. We further extend the flexibility of obtainable architectures by introducing a learnable multi-branch setting. By employing the proposed method, a consistent performance gain is achieved during a progressive search over upcoming search spaces. We achieve 77.3% top-1 retrain accuracy on ImageNet with 333M FLOPs, which yielded a state-of-the-art performance among previous auto-generated architectures that do not involve knowledge distillation or weight pruning. When the latency constraint is adopted, our result also performs better than the previous best-performing mobile models with a 77.9% Top-1 retrain accuracy.

研究动机与目标

• 为解决现有 NAS 方法在大规模搜索空间中出现的反直觉失败问题，即扩大搜索空间通常导致性能下降。
• 通过实现对大型操作池的自动化、可扩展探索，消除对人工设计的受限搜索空间的依赖。
• 开发一种持续学习框架，实现在搜索迭代过程中持续保留知识，同时逐步扩展搜索空间。
• 将方法扩展至多分支架构，以提升架构灵活性与性能。
• 最小化搜索空间设计中的人工干预，推动实现完全自动化的神经架构搜索。

提出的方法

• NSE 从大规模搜索空间中随机选取一个小型操作子集，并在该子集上执行架构搜索。
• 每次搜索迭代后，该方法会从大型操作池中填充此前未遍历的操作，以实现渐进式探索。
• 将每次迭代中获得的帕累托最优架构聚合至一个具备知识继承能力的搜索空间，用于下一轮。
• 采用“锁定与回放”策略，通过在演化过程中稳定继承的搜索空间，防止性能下降。
• 该方法整合了可学习的多分支设置，以提升架构的多样性与表达能力。
• 通过一次性 NAS 的超网络训练，实现对演化中搜索空间子集的高效架构评估。

实验结果

研究问题

• RQ1 为何现有 NAS 方法在扩大搜索空间后仍无法受益，尽管预期性能会提升？
• RQ2 是否能够渐进式演化搜索空间，在探索日益庞大的操作池的同时保持性能增益？
• RQ3 如何在后续搜索阶段中保存并利用先前搜索迭代的知识？
• RQ4 搜索空间的演化对所发现架构的质量与多样性有何影响？
• RQ5 所提出的方案是否能在无需知识蒸馏或权重剪枝的情况下超越最先进 NAS 方法？

主要发现

• NSE 在仅 333M FLOPs 的条件下，实现了 ImageNet 上 77.3% 的 top-1 重训练准确率，成为无需知识蒸馏或剪枝的 NAS 生成模型中的新 SOTA。
• 在延迟约束下，NSE 实现了 77.9% 的 top-1 准确率，优于此前表现最佳的移动模型。
• 该方法表现出持续收敛特性，最佳架构与聚合后的搜索空间在连续的演化轮次中均持续提升。
• 初始搜索空间子集更小（如 K=5）时，收敛效果优于更大子集（如 K=9），验证了渐进式搜索策略的有效性。
• “锁定与回放”策略至关重要——若移除该策略，性能将显著下降，证实其在稳定知识迁移中的关键作用。
• 对搜索空间的简化与聚合显著提升了搜索空间质量，聚合后的搜索空间优于原始版本与简化版本。