[论文解读] Can weight sharing outperform random architecture search? An investigation with TuNAS

Gabriel Bender, Hanxiao Liu+5 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Neural Network Applications参考文献 50被引用 11

一句话总结

本文研究了在大规模、真实的图像分类与检测任务中，权重共享神经架构搜索（NAS）是否优于随机搜索。通过使用 TuNAS——一种可扩展、易于调优的 NAS 框架，采用激进的权重共享策略，作者证明了在 ImageNet 和 COCO 上，高效的 NAS 显著优于随机搜索，尤其当搜索空间增大时，准确率提升最高达 1.5%，并通过一种新型绝对值奖励函数和操作/滤波器预热技术，减少了超参数调优的需求。

ABSTRACT

Efficient Neural Architecture Search methods based on weight sharing have shown good promise in democratizing Neural Architecture Search for computer vision models. There is, however, an ongoing debate whether these efficient methods are significantly better than random search. Here we perform a thorough comparison between efficient and random search methods on a family of progressively larger and more challenging search spaces for image classification and detection on ImageNet and COCO. While the efficacies of both methods are problem-dependent, our experiments demonstrate that there are large, realistic tasks where efficient search methods can provide substantial gains over random search. In addition, we propose and evaluate techniques which improve the quality of searched architectures and reduce the need for manual hyper-parameter tuning. Source code and experiment data are available at https://github.com/google-research/google-research/tree/master/tunas

研究动机与目标

• 确定在大规模、真实的图像分类与目标检测搜索空间中，采用权重共享的高效 NAS 是否能显著优于随机搜索。
• 评估权重共享 NAS 在日益复杂的搜索空间中的有效性，包括此前被认为过大而无法高效搜索的空间。
• 通过设计一种可实现精确延迟控制的奖励函数，减少对人工超参数调优的依赖。
• 通过新型训练技术（如操作和滤波器预热）提升搜索质量，优化共享模型权重的训练稳定性与性能。
• 证明单一统一的 NAS 算法可适用于不同架构搜索空间和任务（分类与检测），而无需大幅重构。

提出的方法

• 提出 TuNAS，一种基于权重共享的可扩展且易于调优的 NAS 框架，支持在大规模、复杂搜索空间中高效搜索。
• 在候选架构之间实施激进的权重共享，使搜索空间中每个倒置瓶颈块可支持多达 252 种选项。
• 设计一种新型绝对值奖励函数，可直接控制推理延迟，无需对成本指数进行昂贵的网格搜索。
• 采用操作和滤波器预热技术，提升共享模型权重在架构搜索过程中的训练稳定性和性能。
• 使用拒绝采样方法，确保随机搜索基线在与搜索架构相同的延迟约束下进行评估。
• 采用强化学习方法，结合共享超网络，联合训练并搜索高性能架构。

实验结果

研究问题

• RQ1 在 ImageNet 和 COCO 的大规模、真实搜索空间中，权重共享 NAS 是否显著优于随机搜索？
• RQ2 所提出的 TuNAS 框架是否能在日益增大且复杂的搜索空间中保持高性能？
• RQ3 绝对值奖励函数在实现精确延迟控制并减少超参数调优方面有多有效？
• RQ4 操作和滤波器预热技术在多大程度上提升了所搜索架构的质量？
• RQ5 单一 NAS 算法是否可有效应用于不同搜索空间和任务（如图像分类与目标检测）而无需重大重构？

主要发现

• 在 ProxylessNAS 的 ImageNet 搜索空间中，TuNAS 达到 75.0% ± 0.1% 的测试准确率，显著优于在相同延迟约束下仅达 73.5% ± 0.2% 的随机搜索。
• 在更大、更复杂的搜索空间（如 ProxylessNAS-Enlarged 和 MobileNetV3-Like）中，TuNAS 与随机搜索之间的性能差距进一步扩大，TuNAS 最高实现 1.5% 的准确率提升。
• 所提出的绝对值奖励函数可实现精确延迟控制（例如目标延迟为 84ms），且无需对成本指数进行网格搜索，相比 MnasNet-Soft 奖励函数，资源消耗降低约 7 倍。
• 操作和滤波器预热技术显著提升了搜索质量，在 ProxylessNAS-Enlarged 空间中贡献了近一半的性能增益，测试准确率从 74.6% 提升至 75.3%。
• 激进的权重共享不会降低模型质量，反而使探索更大搜索空间（包括每块 252 种选项）成为可能，且最终性能未受影响。
• 相同的 TuNAS 框架成功为图像分类和目标检测任务均找到了高性能架构，证明了其跨领域泛化能力。