[论文解读] Densely Connected Search Space for More Flexible Neural Architecture Search

Jiemin Fang, Yuzhu Sun+4 more|arXiv (Cornell University)|Jun 23, 2019

Advanced Neural Network Applications参考文献 59被引用 13

一句话总结

DenseNAS 提出了一种密集连接的搜索空间，能够在神经架构搜索中联合搜索模块数量和宽度，通过路由模块构建超网络，并采用链式成本估计算法优化准确率与 FLOPs。其在 ImageNet 上实现了 75.3% 的 top-1 准确率，仅需 361M FLOPs 和 TITAN-XP 上 17.9ms 的延迟。

ABSTRACT

Neural architecture search (NAS) has dramatically advanced the development of neural network design. We revisit the search space design in most previous NAS methods and find the number and widths of blocks are set manually. However, block counts and block widths determine the network scale (depth and width) and make a great influence on both the accuracy and the model cost (FLOPs/latency). In this paper, we propose to search block counts and block widths by designing a densely connected search space, i.e., DenseNAS. The new search space is represented as a dense super network, which is built upon our designed routing blocks. In the super network, routing blocks are densely connected and we search for the best path between them to derive the final architecture. We further propose a chained cost estimation algorithm to approximate the model cost during the search. Both the accuracy and model cost are optimized in DenseNAS. For experiments on the MobileNetV2-based search space, DenseNAS achieves 75.3% top-1 accuracy on ImageNet with only 361MB FLOPs and 17.9ms latency on a single TITAN-XP. The larger model searched by DenseNAS achieves 76.1% accuracy with only 479M FLOPs. DenseNAS further promotes the ImageNet classification accuracies of ResNet-18, -34 and -50-B by 1.5%, 0.5% and 0.3% with 200M, 600M and 680M FLOPs reduction respectively. The related code is available at https://github.com/JaminFong/DenseNAS.

研究动机与目标

• 解决传统神经架构搜索（NAS）搜索空间中模块数量和宽度固定的僵化问题。
• 实现对每个阶段模块数量（深度）和宽度的自动、灵活搜索。
• 通过将深度和宽度选择嵌入搜索空间，降低对专家设计网络深度和宽度的依赖。
• 在搜索过程中同时优化模型准确率与计算成本（FLOPs/延迟）。
• 开发一种可扩展且高效的搜索框架，适用于 MobileNetV2 和 ResNet 等多种主干网络架构。

提出的方法

• 设计路由模块，使其与后续模块密集连接，形成表示搜索空间的超网络。
• 将最终架构表示为超网络中的一条路径，路径选择由每个路由模块的可学习概率参数引导。
• 提出一种链式成本估计算法，通过基于转移概率传播成本贡献，近似计算 FLOPs。
• 通过将离散路径选择松弛为连续概率分布，将搜索空间整合到可微分 NAS 框架中。
• 采用可微分搜索过程，通过梯度下降优化架构参数（α 和 β）以最大化验证准确率。
• 应用链式成本估计来引导搜索过程，使其趋向低 FLOP 架构，而无需在搜索期间进行完整推理。

实验结果

研究问题

• RQ1 允许灵活模块数量和宽度的搜索空间是否能相比固定结构搜索空间提升 NAS 性能？
• RQ2 具有路由模块的密集连接超网络设计如何影响所搜索架构的多样性与质量？
• RQ3 在可微分 NAS 中，链式成本估计算法是否能有效近似模型 FLOPs 而无需完整推理？
• RQ4 所提方法在多大程度上减少了对深度和宽度超参数的手动调优需求？
• RQ5 该方法是否能在 MobileNetV2 和 ResNet 等不同主干网络架构上实现良好泛化？

主要发现

• DenseNAS 在 ImageNet 上实现 75.3% 的 top-1 准确率，仅需 361M FLOPs，且在单张 TITAN-XP 上延迟为 17.9ms，优于固定结构基线模型。
• DenseNAS 搜索得到的更大模型达到 76.1% 的 top-1 准确率，FLOPs 为 479M，展现出良好的可扩展性与性能提升。
• DenseNAS 将 ResNet-18、-34 和 -50-B 的 top-1 准确率分别提升 1.5%、0.5% 和 0.3%，同时将 FLOPs 分别减少 200M、600M 和 680M。
• 消融实验表明，路由模块中连接数为 4 时性能最佳，准确率达 75.3%，延迟为 17.9ms。
• 链式成本估计方法与真实 FLOPs 具有强相关性（r≈0.95），显著优于局部成本估计方法的准确率。
• 架构可视化结果表明，DenseNAS 自然地在后期阶段学习到更深的网络结构，最小模型（251M FLOPs）的模块数少于更大变体。