[论文解读] BLOX: Macro Neural Architecture Search Benchmark and Algorithms

Thomas Chau, Łukasz Dudziak+3 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 Blox，一个大规模的宏观神经架构搜索（NAS）基准，包含在 CIFAR-100 上训练的 91,125 个独特 CNN 模型，并在多种硬件上测量了延迟。该研究评估了基于模块的 NAS 算法，表明基于签名的模块表示和精度预测可显著提升在宏观搜索空间中的搜索效率与性能，为可扩展、高精度的 NAS 提供基础。

ABSTRACT

Neural architecture search (NAS) has been successfully used to design numerous high-performance neural networks. However, NAS is typically compute-intensive, so most existing approaches restrict the search to decide the operations and topological structure of a single block only, then the same block is stacked repeatedly to form an end-to-end model. Although such an approach reduces the size of search space, recent studies show that a macro search space, which allows blocks in a model to be different, can lead to better performance. To provide a systematic study of the performance of NAS algorithms on a macro search space, we release Blox - a benchmark that consists of 91k unique models trained on the CIFAR-100 dataset. The dataset also includes runtime measurements of all the models on a diverse set of hardware platforms. We perform extensive experiments to compare existing algorithms that are well studied on cell-based search spaces, with the emerging blockwise approaches that aim to make NAS scalable to much larger macro search spaces. The benchmark and code are available at https://github.com/SamsungLabs/blox.

研究动机与目标

• 为解决宏观 NAS 缺乏标准化基准的问题，该问题允许各阶段采用多样化的模块架构。
• 实现对大规模宏观搜索空间中 NAS 算法的系统性评估，超越传统的单元（cell-based）搜索范式。
• 分析新兴基于模块的 NAS 算法在模块签名、精度预测器和训练策略方面的有效性。
• 提供公开可用的基准和代码库，以加速高效、硬件感知 NAS 的研究。
• 为设计可扩展的 NAS 方法提供指导，通过模块级别的多样性实现高精度与低延迟。

提出的方法

• Blox 基准定义了一个包含三个阶段的宏观搜索空间，每个阶段从 45 种独特架构中选择一个可搜索模块，共产生 45³ = 91,125 种不同模型。
• 所有模型均使用标准化训练协议在 CIFAR-100 上进行训练，并在多种硬件平台（如 CPU、GPU、TPU）上测量推理延迟。
• 基于模块的 NAS 算法通过学习到的模块签名来表示架构属性，并利用精度预测器在无需完整训练的情况下估计性能。
• 该框架支持多种 NAS 范式，包括可微分 NAS、强化学习和进化策略，支持跨算法比较。
• 基准包含模型权重和延迟数据，代码与数据集托管于 GitHub，采用 CC BY-NC 许可证。
• 研究采用分而治之策略，各阶段独立使用局部启发式方法进行搜索，最终组装成完整模型。

实验结果

研究问题

• RQ1 与传统的单元式 NAS 相比，基于模块的 NAS 算法在大规模宏观搜索空间中的表现如何？
• RQ2 模块签名对宏观搜索空间中 NAS 的精度和效率有何影响？
• RQ3 精度预测器在保持高模型性能的同时，能否有效降低搜索成本？
• RQ4 硬件特定的延迟测量如何影响 NAS 中最优架构的选择？
• RQ5 在宏观搜索设置下，区分高性能基于模块的 NAS 算法的关键组件是什么？

主要发现

• Blox 基准包含在 CIFAR-100 上训练的 91,125 个独特模型，其延迟在多种硬件平台上测量，支持硬件感知 NAS 的评估。
• 采用学习到的模块签名和精度预测器的基于模块的 NAS 算法，在显著缩短搜索时间的同时，保持了具有竞争力的精度。
• Blox 中识别出的顶级性能模型在 CIFAR-100 上的测试精度超过 85%，证明了宏观搜索在构建高性能架构方面的潜力。
• 基准揭示，各阶段采用多样化的模块可实现比统一模块堆叠更优的精度-延迟权衡。
• 研究表明，基于部分模块训练的精度预测器能够良好泛化到未见过的架构，从而在搜索过程中减少对完整训练的需求。
• 数据集与代码库已公开发布于 GitHub，支持版本控制与贡献机制，以持续支持研究扩展。