[论文解读] HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark

Chaojian Li, Zhongzhi Yu+7 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Neural Network Applications参考文献 38被引用 24

一句话总结

HW-NAS-Bench 是首个面向硬件感知的 NAS 公共数据集，汇总了 NAS-Bench-201 和 FBNet 在六种设备上的实际/估计硬件成本数据，以实现可访问、可重复的 HW-NAS 研究。

ABSTRACT

HardWare-aware Neural Architecture Search (HW-NAS) has recently gained tremendous attention by automating the design of DNNs deployed in more resource-constrained daily life devices. Despite its promising performance, developing optimal HW-NAS solutions can be prohibitively challenging as it requires cross-disciplinary knowledge in the algorithm, micro-architecture, and device-specific compilation. First, to determine the hardware-cost to be incorporated into the NAS process, existing works mostly adopt either pre-collected hardware-cost look-up tables or device-specific hardware-cost models. Both of them limit the development of HW-NAS innovations and impose a barrier-to-entry to non-hardware experts. Second, similar to generic NAS, it can be notoriously difficult to benchmark HW-NAS algorithms due to their significant required computational resources and the differences in adopted search spaces, hyperparameters, and hardware devices. To this end, we develop HW-NAS-Bench, the first public dataset for HW-NAS research which aims to democratize HW-NAS research to non-hardware experts and make HW-NAS research more reproducible and accessible. To design HW-NAS-Bench, we carefully collected the measured/estimated hardware performance of all the networks in the search spaces of both NAS-Bench-201 and FBNet, on six hardware devices that fall into three categories (i.e., commercial edge devices, FPGA, and ASIC). Furthermore, we provide a comprehensive analysis of the collected measurements in HW-NAS-Bench to provide insights for HW-NAS research. Finally, we demonstrate exemplary user cases to (1) show that HW-NAS-Bench allows non-hardware experts to perform HW-NAS by simply querying it and (2) verify that dedicated device-specific HW-NAS can indeed lead to optimal accuracy-cost trade-offs. The codes and all collected data are available at https://github.com/RICE-EIC/HW-NAS-Bench.

研究动机与目标

• 通过降低硬件专业知识门槛，使 HW-NAS 研究民主化。
• 提供一个统一的、基于真实硬件数据的 HW-NAS 基准，覆盖多种搜索空间。
• 在多样化设备上实现 HW-NAS 算法的可重复性与可比性。
• 分析不同架构之间硬件成本、能耗、延迟与精度的关系。
• 展示非硬件专家也能进行设备特定 HW-NAS 的实际工作流程。

提出的方法

• 通过在六种设备上收集 NAS-Bench-201 与 FBNet 的所有架构的实际/估计硬件成本（延迟、能耗）来构建 HW-NAS-Bench。
• 开发包含设备特定编译与测量步骤的硬件成本收集流水线。
• 将设备归类为边缘商用 GPU、Raspi、Edge TPU、Pixel 3、ASIC（Eyeriss）和 FPGA，并记录配置。
• 使用 Kendall 秩相关分析硬件成本与理论指标（FLOPs、参数数量）之间的相关性。
• 通过实证比较评估跨设备的变异性以及设备特定 HW-NAS 的必要性。
• 提供示例用户案例，演示查询数据集和设备特定 HW-NAS 优化。

实验结果

研究问题

• RQ1 传统硬件成本代理（FLOPs、参数数量）与真实硬件成本（延迟、能耗）在多样化设备上的相关性如何？
• RQ2 同一架构在不同硬件设备上硬件成本的变动情况如何？
• RQ3 为实现最优的准确率-成本权衡，是否需要设备特定的 HW-NAS？
• RQ4 HW-NAS 研究者（无硬件专业知识）能否利用公开基准来开发有效的 HW-NAS 解决方案？
• RQ5 关于 NAS-Bench-201 和 FBNet 架构的准确性与硬件成本之间关系，可以得出哪些见解？

主要发现

• 真实硬件成本在多种设备上与 FLOPs 和参数数量相关性较差，表明基于 FLOPs 的 HW-NAS 可能并非最佳。
• 相同架构在不同设备上的硬件成本差异显著，有时相关性接近零。
• 设备特定的 HW-NAS 往往比跨设备迁移获得更好的准确性-成本权衡，强调需要对设备进行定制化优化。
• HW-NAS-Bench 使非硬件专家通过查询预先测量的数据来进行 HW-NAS，降低了门槛。
• 在 NAS-Bench-201 和 FBNet 空间的评估显示，目标设备不同会出现不同的最优架构，验证了设备特定 HW-NAS 的说法。
• 该数据集和流水线促进了跨多种硬件目标的可重复 HW-NAS 基准测试。