[论文解读] An Introduction to Neural Architecture Search for Convolutional Networks

George Kyriakides, Konstantinos G. Margaritis|arXiv (Cornell University)|May 22, 2020

Advanced Neural Network Applications参考文献 42被引用 9

一句话总结

本文对卷积神经网络的神经架构搜索（NAS）提供了全面的介绍，概述了关键组成部分，包括搜索空间、优化方法和候选模型评估技术。文章强调了NAS领域的主要进展，如基于单元的搜索空间，以及NAS-Bench-101和NAS-Bench-201等基准数据集，这些显著降低了计算成本，使研究更加高效且可复现。

ABSTRACT

Neural Architecture Search (NAS) is a research field concerned with utilizing optimization algorithms to design optimal neural network architectures. There are many approaches concerning the architectural search spaces, optimization algorithms, as well as candidate architecture evaluation methods. As the field is growing at a continuously increasing pace, it is difficult for a beginner to discern between major, as well as emerging directions the field has followed. In this work, we provide an introduction to the basic concepts of NAS for convolutional networks, along with the major advances in search spaces, algorithms and evaluation techniques.

研究动机与目标

• 提供卷积神经网络神经架构搜索（NAS）的结构化综述，聚焦核心组件：搜索空间、优化方法和候选模型评估。
• 阐明搜索空间设计、优化策略与评估方法在NAS流程中相互依赖与相互影响的关系。
• 介绍并分析主要基准数据集，如NAS-Bench-101、NAS-Bench-201和NAS-Bench-1shot1，这些数据集支持可复现且高效的NAS研究。
• 突出NAS从计算资源密集型方法向高效、参数共享和单次训练方法的演进，显著降低计算成本。
• 讨论搜索空间约束和评估方法可能引入的偏差风险，并倡导在NAS研究中提升透明度与可复现性。

提出的方法

• 将NAS分类为宏观架构搜索（全局搜索空间）和微观架构搜索（基于单元的搜索空间），后者聚焦于学习可重用的单元模式。
• 描述利用网络形态变换（network morphisms）和可微架构搜索（DARTS）实现对架构操作的可微且高效的搜索。
• 引入参数共享技术，如DARTS和单次NAS中的方法，通过训练一个单一的超网络来近似各个独立架构的性能。
• 回顾基准数据集：NAS-Bench-101（在CIFAR-10上包含423,000个架构）、NAS-Bench-201（在CIFAR-10/100和ImageNet-16-120上包含15,625个架构），以及NAS-Bench-1shot1（映射至NAS-Bench-101以支持单次训练方法）。
• 解释评估方法（如早停、精度预测、延迟/FLOPs报告）如何降低训练成本并实现更快的搜索。
• 提出NAS基准允许研究人员在无需完整训练的情况下模拟重采样，并通过预计算指标（如精度、参数量和训练时间）公平比较算法。

实验结果

研究问题

• RQ1 不同的搜索空间设计（全局 vs. 基于单元）如何影响NAS的效率与性能？
• RQ2 在搜索效率与最终架构质量之间，不同优化策略（如强化学习、进化算法、可微搜索）的权衡是什么？
• RQ3 代理评估方法（如参数共享、精度预测）在多大程度上可以替代全量训练，同时保持精度与公平性？
• RQ4 NAS-Bench-101和NAS-Bench-201等基准数据集如何实现可复现且高效的NAS研究？其局限性是什么？
• RQ5 评估与搜索空间设计在哪些方面可能引入NAS偏差？如何通过透明度与最佳实践加以缓解？

主要发现

• 基于单元的搜索空间（如NASNet和NAS-Bench-101中所用）通过在整张网络中复用学习到的单元模式，显著降低了搜索复杂度。
• NAS-Bench-101在CIFAR-10上包含423,000个唯一架构，报告了经过4、12、36和108个周期训练后的训练与测试精度，支持快速评估与重采样。
• NAS-Bench-201将原始基准扩展至包含15,625个架构，支持CIFAR-10、CIFAR-100和ImageNet-16-120，并报告FLOPs、延迟和每周期指标。
• 单次NAS基准如NAS-Bench-1shot1将单次方法中的架构映射至NAS-Bench-101中预评估的模型，支持6,240至363,648个唯一模型的高效搜索。
• 参数共享与代理评估方法极大减少了实际运行时间与计算成本，使标准硬件即可开展NAS研究，而无需大规模加速器。
• 尽管具有优势，基准数据集可能因过拟合或搜索空间覆盖有限而引入偏差，评估方法也可能扭曲适应度景观，因此必须谨慎设计并强调透明度。