[论文解读] Few-shot Neural Architecture Search

Yiyang Zhao, Linnan Wang+3 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Neural Network Applications参考文献 59被引用 9

一句话总结

本文提出了一种少样本神经架构搜索（NAS），通过使用多个子超网络来减少共适应性，并提高单个超网络的一次性NAS的性能预测准确性，同时保持较低的评估成本。该方法实现了最先进（SOTA）的性能表现，包括在仅使用7个子超网络的情况下，于600 MFLOPS的条件下在ImageNet上达到80.5%的top-1准确率。

ABSTRACT

Efficient evaluation of a network architecture drawn from a large search space remains a key challenge in Neural Architecture Search (NAS). Vanilla NAS evaluates each architecture by training from scratch, which gives the true performance but is extremely time-consuming. Recently, one-shot NAS substantially reduces the computation cost by training only one supernetwork, a.k.a. supernet, to approximate the performance of every architecture in the search space via weight-sharing. However, the performance estimation can be very inaccurate due to the co-adaption among operations. In this paper, we propose few-shot NAS that uses multiple supernetworks, called sub-supernet, each covering different regions of the search space to alleviate the undesired co-adaption. Compared to one-shot NAS, few-shot NAS improves the accuracy of architecture evaluation with a small increase of evaluation cost. With only up to 7 sub-supernets, few-shot NAS establishes new SoTAs: on ImageNet, it finds models that reach 80.5% top-1 accuracy at 600 MB FLOPS and 77.5% top-1 accuracy at 238 MFLOPS; on CIFAR10, it reaches 98.72% top-1 accuracy without using extra data or transfer learning. In Auto-GAN, few-shot NAS outperforms the previously published results by up to 20%. Extensive experiments show that few-shot NAS significantly improves various one-shot methods, including 4 gradient-based and 6 search-based methods on 3 different tasks in NasBench-201 and NasBench1-shot-1.

研究动机与目标

• 解决单个超网络中操作共适应性导致的一次性NAS性能预测不准确问题。
• 降低原始NAS的计算成本，后者需要从头开始训练每个架构。
• 提高超网络预测性能与真实架构性能之间的相关性，以提升搜索效率和准确性。
• 开发一种可扩展、可泛化的框架，可与基于梯度的NAS和基于搜索的NAS方法集成。
• 在多种基准测试（包括ImageNet、CIFAR-10和Auto-GAN）中实现显著的性能提升，且无需额外数据或预训练。

提出的方法

• 基于复合边对整个架构搜索空间进行递归分割，划分为互不重叠的子区域。
• 为每个分区独立训练一个子超网络，以减少共适应性，从而更准确地建模局部架构性能。
• 采用级联迁移学习：从共享的根超网络初始化子超网络，并对每个子超网络单独微调。
• 在子超网络之间共享权重，从而通过选择对应子超网络并屏蔽未使用的操作，实现对任意架构的快速评估。
• 利用分层分割策略，保持模型容量，同时减少不同类型架构之间的干扰。
• 将少样本评估器集成到现有NAS流程中，支持基于梯度和基于搜索的优化策略。

实验结果

研究问题

• RQ1 与单个超网络相比，多个子超网络是否能有效减少共适应性并提高性能预测准确性？
• RQ2 需要多少个子超网络才能在计算成本增加极少的情况下显著提升架构搜索的准确性？
• RQ3 少样本NAS是否能在多种基准和任务上提升现有一次性NAS方法的性能？
• RQ4 在标准基准如ImageNet和CIFAR-10上，少样本NAS是否能在不依赖额外数据或预训练的情况下超越最先进NAS方法？
• RQ5 与路径丢弃或基于角度的正则化等其他超网络改进技术相比，少样本NAS表现如何？

主要发现

• 在仅使用7个子超网络的情况下，少样本NAS在600 MFLOPS条件下于ImageNet上实现了80.5%的top-1准确率，创下高效模型的新SOTA纪录。
• 在CIFAR-10上，少样本NAS在不使用额外数据或ImageNet预训练的情况下达到98.72%的top-1准确率，优于先前方法。
• 在Auto-GAN中，少样本NAS将FID分数从12.42提升至10.73，相比原始一次性方法实现了20%的相对改进。
• 仅使用5个子超网络，少样本NAS就在NasBench-201和NasBench1-shot-1上显著提升了4种基于梯度的NAS方法和6种基于搜索的NAS方法。
• 与一次性NAS相比，少样本NAS将预测性能与真实性能之间的Kendall Tau相关系数提高了最多0.15，表明排名保真度更高。
• 在Penn Treebank上，少样本NAS将搜索成本降低至1.56 GPU天，测试困惑度达到54.89，优于DARTs的55.7，且耗时不足其一半。