[论文解读] A Survey on Neural Architecture Search
本综述为神经架构搜索（NAS）提供统一的形式化框架，比较全局搜索空间与基于单元的搜索空间，并回顾强化学习、进化算法，以及代理模型和一次性搜索模型等优化方法。
The growing interest in both the automation of machine learning and deep learning has inevitably led to the development of a wide variety of automated methods for neural architecture search. The choice of the network architecture has proven to be critical, and many advances in deep learning spring from its immediate improvements. However, deep learning techniques are computationally intensive and their application requires a high level of domain knowledge. Therefore, even partial automation of this process helps to make deep learning more accessible to both researchers and practitioners. With this survey, we provide a formalism which unifies and categorizes the landscape of existing methods along with a detailed analysis that compares and contrasts the different approaches. We achieve this via a comprehensive discussion of the commonly adopted architecture search spaces and architecture optimization algorithms based on principles of reinforcement learning and evolutionary algorithms along with approaches that incorporate surrogate and one-shot models. Additionally, we address the new research directions which include constrained and multi-objective architecture search as well as automated data augmentation, optimizer and activation function search.
研究动机与目标
- NAS 问题与空间定义的综述与形式化
- 比较全局与基于单元的 NAS 空间及其可迁移性
- 回顾优化方法（强化学习、进化算法、代理模型/一次性搜索）及其权衡
- 讨论对约束、多目标以及自动化数据增强/优化器/激活搜索的扩展
- 强调 NAS 中的开放挑战与未来研究方向
提出的方法
- 将神经架构搜索定义为对包含操作和输入的计算图的搜索
- 将 NAS 空间分为全局搜索空间与基于单元的搜索空间，并讨论具有代表性的设计
- 通过 α-结构表示和基于目标的优化，提出统一的 NAS 形式化框架
- 回顾优化方法，包括强化学习、进化算法、代理模型优化和一次性 NAS，并给出正式的问题设置
- 将多目标、约束优化和模型压缩作为 NAS 的扩展进行分析
- 结合关键 NAS 工作中的实例，对比空间设计与优化策略
实验结果
研究问题
- RQ1常见的 NAS 搜索空间有哪些？全局搜索空间与基于单元的空间有何区别？
- RQ2不同的优化方法（RL、进化、代理/一次性）在 NAS 中的表现及其权衡是什么？
- RQ3哪些扩展（多目标优化、约束、数据增强、激活/优化器搜索）塑形了 NAS 的研究方向？
- RQ4NAS 架构能否在数据集或任务之间迁移？哪些空间属性能够实现迁移性？
- RQ5在 NAS 方法学中存在哪些误区和误解，如何加以缓解？
主要发现
- 基于单元的 NAS 空间（如 NASNet）因易于迁移和可扩展设计而被广泛采用
- 全局搜索空间提供了更多的多样性，并可能对移动架构有益，但迁移可能较困难
- 一次性与代理模型方法可以降低 NAS 的计算负担（通过引文方法讨论）
- 多目标与受约束的 NAS 是当前活跃方向，解决如参数量和延迟等部署考量
- 初始架构与空间设计显著影响 NAS 的结果及其在跨任务的可迁移性
- 强化学习与进化策略为架构探索提供互补优势
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。