[论文解读] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens

Zhaohui Yang, Yunhe Wang+7 more|arXiv (Cornell University)|May 29, 2020

Advanced Neural Network Applications参考文献 53被引用 7

一句话总结

HourNAS 通过一种基于沙漏结构的两阶段搜索方法，识别出对信息流和准确率至关重要的‘关键模块’，实现极快的神经架构搜索。通过优先处理这些关键模块，并在计算资源限制下对非关键模块的搜索空间进行约束，HourNAS 仅用一台 GPU 在 3 小时内即在 ImageNet 上实现了 77.0% 的 Top-1 准确率，显著优于当前最先进方法在速度与准确率上的表现。

ABSTRACT

Neural Architecture Search (NAS) refers to automatically design the architecture. We propose an hourglass-inspired approach (HourNAS) for this problem that is motivated by the fact that the effects of the architecture often proceed from the vital few blocks. Acting like the narrow neck of an hourglass, vital blocks in the guaranteed path from the input to the output of a deep neural network restrict the information flow and influence the network accuracy. The other blocks occupy the major volume of the network and determine the overall network complexity, corresponding to the bulbs of an hourglass. To achieve an extremely fast NAS while preserving the high accuracy, we propose to identify the vital blocks and make them the priority in the architecture search. The search space of those non-vital blocks is further shrunk to only cover the candidates that are affordable under the computational resource constraints. Experimental results on the ImageNet show that only using 3 hours (0.1 days) with one GPU, our HourNAS can search an architecture that achieves a 77.0% Top-1 accuracy, which outperforms the state-of-the-art methods.

研究动机与目标

• 为解决在 ImageNet 等大规模数据集上进行神经架构搜索（NAS）时计算成本过高的问题。
• 通过识别并优先处理最具影响力的网络模块，提升搜索效率，同时不牺牲模型准确率。
• 设计一种搜索框架，通过区分关键与非关键模块，更有效地分配计算资源。
• 实现在资源使用极少的前提下，直接在 ImageNet 上进行 NAS，且性能超越现有最先进方法。

提出的方法

• 该方法提出一种两阶段搜索策略：首先识别出位于从输入到输出所有路径上的‘关键’模块，其作用如同沙漏的‘瓶颈’。
• 在资源约束下优先优化关键模块，以最大化对准确率的影响。
• 对非关键模块的搜索空间进行剪枝，仅保留剩余计算预算下可承受的候选模块。
• 采用空间提议方法，在预设的 FLOPs 和参数量约束下生成并评估有前景的架构。
• 使用 Gumbel-Max 采样从 SuperNet 中高效采样架构参数，降低搜索成本的同时保持性能。
• 该方法采用可微分搜索框架，共享权重与架构参数，支持端到端优化。

实验结果

研究问题

• RQ1 通过识别并优先处理网络中最重要的模块，能否显著加速神经架构搜索？
• RQ2 在关键模块与非关键模块之间分配计算资源，如何影响搜索效率与最终模型的准确率？
• RQ3 对非关键模块采用受约束的搜索空间，是否仍能生成高性能架构，同时大幅减少搜索时间？
• RQ4 在可微分 NAS 设置下，使用 Gumbel-Max 采样是否相比 Gumbel-Softmax 提升了搜索效率？
• RQ5 该框架能否在 3 小时内完成 ImageNet 上的直接 NAS，同时达到具有竞争力的准确率？

主要发现

• HourNAS 仅用 3 小时（0.1 GPU 天）的训练时间，在单台 GPU 上即在 ImageNet 上实现了 77.0% 的 Top-1 准确率，优于当前最先进方法。
• 与标准两阶段搜索相比，该方法将搜索时间减少了 9 倍；在结合资源约束时，更是减少了 72 倍。
• 与非优先处理策略相比，使用关键模块优先策略使 FBNet 和 EfficientNet 搜索空间的性能分别提升了 0.9% 和 0.6%。
• Gumbel-Max 采样将搜索成本降低至 1 GPU 天，同时 Top-1 准确率比 Gumbel-Softmax 高出 0.1%。
• 架构 HourNAS-EfficientNetSS-F 在 FLOPs 和参数量与 EfficientNet-B0 相当的情况下，Top-1 准确率高出 0.2%。
• 当不使用关键模块优先策略时，搜索过程耗时 6 小时，为原来的 2 倍，证实其对效率与性能的关键作用。