[论文解读] EPNAS: Efficient Progressive Neural Architecture Search

Yanqi Zhou, Peng Wang+5 more|arXiv (Cornell University)|Jul 7, 2019

Advanced Neural Network Applications被引用 2

一句话总结

EPNAS 是一种新颖的神经架构搜索框架，通过渐进式搜索策略和基于 REINFORCE 的性能预测，加速了神经架构搜索，实现了在大规模搜索空间中的高效、可扩展的架构搜索。它在 CIFAR10 和 ImageNet 上达到了最先进（SOTA）的准确率，同时显著减少了搜索时间，尤其在模型大小和计算复杂度等多种资源约束条件下表现突出。

ABSTRACT

In this paper, we propose Efficient Progressive Neural Architecture Search (EPNAS), a neural architecture search (NAS) that efficiently handles large search space through a novel progressive search policy with performance prediction based on REINFORCE~\cite{this http URL}. EPNAS is designed to search target networks in parallel, which is more scalable on parallel systems such as GPU/TPU clusters. More importantly, EPNAS can be generalized to architecture search with multiple resource constraints, \eg, model size, compute complexity or intensity, which is crucial for deployment in widespread platforms such as mobile and cloud. We compare EPNAS against other state-of-the-art (SoTA) network architectures (\eg, MobileNetV2~\cite{mobilenetv2}) and efficient NAS algorithms (\eg, ENAS~\cite{pham2018efficient}, and PNAS~\cite{Liu2017b}) on image recognition tasks using CIFAR10 and ImageNet. On both datasets, EPNAS is superior \wrt architecture searching speed and recognition accuracy.

研究动机与目标

• 为解决现有 NAS 方法在探索大规模神经架构搜索空间时效率低下的问题。
• 通过引入渐进式搜索策略，实现在 GPU/TPU 集群上的可扩展、并行的架构搜索。
• 支持多资源约束优化，例如模型大小、FLOPs 和推理延迟，以适应移动和云平台的部署需求。
• 在不牺牲准确率的前提下提升搜索效率，超越现有的最先进（SoTA）NAS 方法。

提出的方法

• EPNAS 采用渐进式搜索策略，逐步扩展搜索空间，从而在每个阶段降低计算负担。
• 它使用基于 REINFORCE 的性能预测方法，无需完整训练即可估算候选架构的准确率。
• 该方法支持在 GPU/TPU 集群上并行训练多个架构，提升了可扩展性。
• EPNAS 通过将大小和复杂度指标整合到搜索目标中，实现对多种资源约束的泛化。
• 它根据预测性能动态调整搜索空间，聚焦于高潜力架构。

实验结果

研究问题

• RQ1 渐进式搜索策略是否能降低在大规模搜索空间中进行神经架构搜索的时间和资源成本？
• RQ2 基于 REINFORCE 的性能预测在无需完整训练的情况下，对架构搜索的引导效果如何？
• RQ3 EPNAS 在 GPU/TPU 等并行硬件上的可扩展性达到何种程度？
• RQ4 与现有 NAS 方法相比，EPNAS 在模型大小和 FLOPs 等多种资源约束下的表现如何？

主要发现

• EPNAS 在 CIFAR10 和 ImageNet 上实现了最先进（SOTA）的准确率，同时相比现有 NAS 方法显著缩短了搜索时间。
• 渐进式搜索策略通过在搜索早期聚焦于高潜力架构，实现了更快的收敛。
• 由于其可并行化的架构搜索设计，EPNAS 在 GPU/TPU 集群上表现出卓越的可扩展性。
• 该方法能有效处理多种资源约束，适用于移动和云平台的部署。