[论文解读] GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet

Shan You, Tao Huang+4 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Neural Network Applications参考文献 43被引用 12

一句话总结

GreedyNAS 提出了一种快速的一次性神经架构搜索方法，通过基于拒绝的多路径采样和动态候选路径池，有选择性地聚焦于潜在优质路径，从而加速超网络训练。通过过滤弱路径并利用高性能路径，该方法在仅使用先前方法约60%的超网络训练成本下，实现了 ImageNet 上的最先进精度。

ABSTRACT

Training a supernet matters for one-shot neural architecture search (NAS) methods since it serves as a basic performance estimator for different architectures (paths). Current methods mainly hold the assumption that a supernet should give a reasonable ranking over all paths. They thus treat all paths equally, and spare much effort to train paths. However, it is harsh for a single supernet to evaluate accurately on such a huge-scale search space (e.g., $7^{21}$). In this paper, instead of covering all paths, we ease the burden of supernet by encouraging it to focus more on evaluation of those potentially-good ones, which are identified using a surrogate portion of validation data. Concretely, during training, we propose a multi-path sampling strategy with rejection, and greedily filter the weak paths. The training efficiency is thus boosted since the training space has been greedily shrunk from all paths to those potentially-good ones. Moreover, we further adopt an exploration and exploitation policy by introducing an empirical candidate path pool. Our proposed method GreedyNAS is easy-to-follow, and experimental results on ImageNet dataset indicate that it can achieve better Top-1 accuracy under same search space and FLOPs or latency level, but with only $\sim$60\% of supernet training cost. By searching on a larger space, our GreedyNAS can also obtain new state-of-the-art architectures.

研究动机与目标

• 通过避免在大规模搜索空间中对所有路径进行均匀训练，降低一次性 NAS 中超网络训练的计算成本。
• 通过仅聚焦于潜在优质架构的性能估计，提升搜索效率。
• 通过动态跟踪和利用高性能路径的候选路径池，维持高精度。
• 在相同的 FLOPs 或延迟约束下，与现有一次性 NAS 方法相比，实现更高的精度和训练效率。

提出的方法

• 提出一种基于拒绝的多路径采样策略，在超网络训练期间过滤弱路径，从而减小有效训练空间。
• 使用一个代理验证集（1,000 张图像）来评估路径质量，并指导低性能路径的拒绝。
• 引入候选路径池以实现探索与利用的平衡，提升搜索质量和训练效率。
• 在贪婪过滤开始前，通过前10,000次迭代的预热阶段进行均匀采样，以稳定超网络。
• 利用候选路径池进行利用（采样）、进化算法初始化以及自适应早停。
• 采用贪婪的超网络训练机制，在路径过滤后，仅将注意力集中在候选路径池中的路径上。

实验结果

研究问题

• RQ1 能否通过避免在大规模搜索空间中对所有路径进行均匀更新，使超网络训练更加高效？
• RQ2 在训练过程中过滤弱路径是否能提升最终搜索架构的精度？
• RQ3 动态候选路径池能否同时增强一次性 NAS 中的探索与利用？
• RQ4 在保持或提升精度的前提下，训练成本最多可减少多少？

主要发现

• 在 330M FLOPs 约束下，GreedyNAS 在 ImageNet 上实现了 74.89% 的 Top-1 精度，优于具有相同硬件约束的基线方法。
• 与先前的一次性 NAS 方法相比，该方法将超网络训练成本降低了约 40%，同时实现了更高的精度。
• 使用候选路径池进行进化算法初始化，相比基线方法，精度提升了 0.18%。
• 在 10,000 次预热迭代后，使用 1,000 张验证图像，超网络预测与真实性能之间的等级相关性达到 0.961（Kendall tau）。
• 基于候选路径池的训练停止策略在不显著降低精度的前提下提升了效率，表明探索与利用之间达到了良好平衡。
• 在更大搜索空间中搜索时，该方法发现了新的最先进架构，证明了其可扩展性和有效性。