[论文解读] A Survey on Computationally Efficient Neural Architecture Search

Shiqing Liu, Haoyu Zhang+1 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本综述对计算高效神经架构搜索（CE-NAS）方法进行了全面分析，将其分类为基于代理的和基于代理模型辅助的方法，以降低训练成本。系统比较了其设计原则、性能和计算复杂度，同时识别了在高效、隐私保护和绿色AI感知NAS中的关键挑战与未来方向。

ABSTRACT

Neural architecture search (NAS) has become increasingly popular in the deep learning community recently, mainly because it can provide an opportunity to allow interested users without rich expertise to benefit from the success of deep neural networks (DNNs). However, NAS is still laborious and time-consuming because a large number of performance estimations are required during the search process of NAS, and training DNNs is computationally intensive. To solve this major limitation of NAS, improving the computational efficiency is essential in the design of NAS. However, a systematic overview of computationally efficient NAS (CE-NAS) methods still lacks. To fill this gap, we provide a comprehensive survey of the state-of-the-art on CE-NAS by categorizing the existing work into proxy-based and surrogate-assisted NAS methods, together with a thorough discussion of their design principles and a quantitative comparison of their performances and computational complexities. The remaining challenges and open research questions are also discussed, and promising research topics in this emerging field are suggested.

研究动机与目标

• 解决传统神经架构搜索（NAS）因从头训练每个候选架构而导致的高计算成本问题。
• 提供计算高效NAS（CE-NAS）方法的系统性、最新概述，填补现有文献中的空白。
• 基于设计原则、性能和计算复杂度，对基于代理的和基于代理模型辅助的NAS方法进行分类与比较。
• 识别CE-NAS中的开放挑战与未来研究方向，特别是在联邦学习和绿色AI环境下的应用。
• 为研究人员和从业者在实际部署中选择和推进高效NAS方法提供指导。

提出的方法

• 根据性能评估期间是否需要网络权重，将CE-NAS方法分类为基于代理的（如低保真度估计、单次NAS、网络形态变换）和基于代理模型辅助的方法。
• 分析基于代理的方法，其通过使用简化或共享权重来估计性能，而无需完整训练，从而降低计算成本。
• 调研基于代理模型辅助的NAS，其使用仅基于架构特征训练的性能预测器（代理模型），避免依赖权重的评估。
• 采用贝叶斯优化、进化算法和多目标优化等技术评估代理模型，以高效引导架构搜索。
• 在联邦NAS中集成隐私保护机制，如差分隐私、安全聚合和同态加密，以增强安全性。
• 提出在资源受限的边缘设备上部署NAS的策略，通过可扩展的间接编码和轻量级代理模型实现。

实验结果

研究问题

• RQ1 在计算效率和性能预测准确性方面，基于代理的NAS与基于代理模型辅助的NAS方法有何不同？
• RQ2 在降低搜索成本方面，不同类型基于代理的NAS（如单次NAS、低保真度NAS）的设计原则和权衡关系是什么？
• RQ3 如何有效训练和更新代理模型，以在计算开销最小的前提下预测未见架构的性能？
• RQ4 在联邦学习设置下应用NAS的主要挑战是什么，特别是数据非独立同分布（non-IID）、通信成本和硬件异构性方面？
• RQ5 如何通过绿色AI原则和高效模型编码，使NAS更具可持续性并可在边缘设备上部署？

主要发现

• 近期的CE-NAS方法已将CIFAR-10上的搜索时间从数百个GPU天减少到0.1个GPU天以内，展现出显著的效率提升。
• 基于代理模型辅助的NAS方法通过使用仅基于架构特征训练的性能预测器，避免了重新训练，实现了无需网络权重的快速评估。
• 贝叶斯优化和进化算法在基于代理模型辅助的NAS中被广泛使用，前者具有样本效率优势，后者支持多目标优化。
• 联邦NAS仍处于研究初期，面临非独立同分布数据、异构硬件和客户端间高通信成本等挑战。
• 差分隐私和安全聚合等隐私保护技术可集成到联邦NAS中，以增强安全性，同时不牺牲搜索效率。
• 由于计算资源有限，将NAS部署在边缘设备上仍具挑战性，亟需可扩展的间接编码策略和轻量级代理模型。