[论文解读] EcoNAS: Finding Proxies for Economical Neural Architecture Search

Dongzhan Zhou, Xinchi Zhou+5 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Neural Network Applications参考文献 35被引用 10

一句话总结

EcoNAS 提出了一种分层代理策略，通过使用计算量减少但可靠的设置，在保持代理评估与完整精度评估之间排名一致性的同时，加速了进化神经架构搜索（NAS）。通过优先对有希望的架构使用更昂贵的代理并早期淘汰无希望的架构，EcoNAS 将搜索时间减少了 400 倍（从 3150 天减少至 8 天 GPU 时间），同时实现了与最先进方法相当的性能。

ABSTRACT

Neural Architecture Search (NAS) achieves significant progress in many computer vision tasks. While many methods have been proposed to improve the efficiency of NAS, the search progress is still laborious because training and evaluating plausible architectures over large search space is time-consuming. Assessing network candidates under a proxy (i.e., computationally reduced setting) thus becomes inevitable. In this paper, we observe that most existing proxies exhibit different behaviors in maintaining the rank consistency among network candidates. In particular, some proxies can be more reliable -- the rank of candidates does not differ much comparing their reduced setting performance and final performance. In this paper, we systematically investigate some widely adopted reduction factors and report our observations. Inspired by these observations, we present a reliable proxy and further formulate a hierarchical proxy strategy. The strategy spends more computations on candidate networks that are potentially more accurate, while discards unpromising ones in early stage with a fast proxy. This leads to an economical evolutionary-based NAS (EcoNAS), which achieves an impressive 400x search time reduction in comparison to the evolutionary-based state of the art (8 vs. 3150 GPU days). Some new proxies led by our observations can also be applied to accelerate other NAS methods while still able to discover good candidate networks with performance matching those found by previous proxy strategies.

研究动机与目标

• 为解决大规模搜索空间中神经架构搜索（NAS）带来的高计算成本问题。
• 探究常见压缩因子（通道数、分辨率、训练轮数、采样比例）在保持代理评估与完整精度评估之间排名一致性方面的可靠性。
• 开发一种分层代理策略，将更多计算资源分配给有希望的架构，同时早期淘汰无希望的架构。
• 实现在显著降低 GPU 天数需求的前提下，实现高效且高性能的 NAS。

提出的方法

• 在 CIFAR-10 和 ImageNet 上系统评估四种压缩因子——通道宽度（c）、输入分辨率（r）、训练轮数（e）和采样比例（s）的影响。
• 发现：在使用完整训练样本的前提下，减少通道数和输入分辨率可产生更可靠的代理，具有更高的排名一致性。
• 提出一种分层代理策略：首先使用快速代理（如低轮数）早期筛选出无希望的网络，然后对表现最好的候选架构应用更昂贵的代理（如完整轮数）。
• 将该策略集成到进化 NAS 框架中，网络按阶段训练（20、40、60 轮），仅每阶段表现最好的模型进入下一阶段。
• 在代理设置与完整设置之间保持一致的训练配置，通过调整裁剪长度并在压缩设置中排除路径丢弃，以提高代理的保真度。
• 使用斯皮尔曼等级相关系数（ρ）来衡量不同架构在代理评估与完整精度评估中的排名一致性。

实验结果

研究问题

• RQ1 不同的压缩因子（c, r, e, s）如何影响 NAS 中代理评估与完整精度性能之间的排名一致性？
• RQ2 在不同搜索空间中，哪种压缩因子组合能产生最可靠的代理以保持架构排名的一致性？
• RQ3 分层代理策略是否能显著减少搜索时间而不损失最终精度？
• RQ4 与现有代理策略相比，所提出的代理在效率和性能方面表现如何？

主要发现

• 在使用更多训练样本的前提下减少训练轮数，比增加轮数但使用更少样本更能提升排名一致性。
• 在代理评估中，减少网络通道数比减少输入分辨率更能保持排名一致性，因此更可靠。
• 所提出的可靠代理——即在通道数和分辨率上进行压缩但使用完整训练样本——实现了高排名一致性，可广泛用于加速进化式和基于梯度的 NAS 方法。
• EcoNAS 中的分层代理策略将搜索时间从最先进进化式 NAS 的 3150 天 GPU 时间减少至仅 8 天，实现了 400 倍的加速。
• 在 CIFAR-10 和 ImageNet 上搜索到的最终架构性能与先前方法找到的架构相当，验证了代理策略的有效性。
• 使用快速代理进行早期筛选，并对表现最好的候选架构使用更昂贵的代理，显著减少了计算量，避免了对无希望架构进行完整训练。