[論文レビュー] HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark

Chaojian Li, Zhongzhi Yu+7 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Neural Network Applications参考文献 38被引用数 24

ひとこと要約

HW-NAS-Benchはハードウェア認識 NASの最初の公開データセットであり、NAS-Bench-201とFBNetの測定済み/推定のハードウェアコストデータを6デバイスに跨って集約し、アクセス可能で再現可能なHW-NAS研究を可能にする。

ABSTRACT

HardWare-aware Neural Architecture Search (HW-NAS) has recently gained tremendous attention by automating the design of DNNs deployed in more resource-constrained daily life devices. Despite its promising performance, developing optimal HW-NAS solutions can be prohibitively challenging as it requires cross-disciplinary knowledge in the algorithm, micro-architecture, and device-specific compilation. First, to determine the hardware-cost to be incorporated into the NAS process, existing works mostly adopt either pre-collected hardware-cost look-up tables or device-specific hardware-cost models. Both of them limit the development of HW-NAS innovations and impose a barrier-to-entry to non-hardware experts. Second, similar to generic NAS, it can be notoriously difficult to benchmark HW-NAS algorithms due to their significant required computational resources and the differences in adopted search spaces, hyperparameters, and hardware devices. To this end, we develop HW-NAS-Bench, the first public dataset for HW-NAS research which aims to democratize HW-NAS research to non-hardware experts and make HW-NAS research more reproducible and accessible. To design HW-NAS-Bench, we carefully collected the measured/estimated hardware performance of all the networks in the search spaces of both NAS-Bench-201 and FBNet, on six hardware devices that fall into three categories (i.e., commercial edge devices, FPGA, and ASIC). Furthermore, we provide a comprehensive analysis of the collected measurements in HW-NAS-Bench to provide insights for HW-NAS research. Finally, we demonstrate exemplary user cases to (1) show that HW-NAS-Bench allows non-hardware experts to perform HW-NAS by simply querying it and (2) verify that dedicated device-specific HW-NAS can indeed lead to optimal accuracy-cost trade-offs. The codes and all collected data are available at https://github.com/RICE-EIC/HW-NAS-Bench.

研究の動機と目的

• ハードウェアの専門知識要件を低減し、HW-NAS研究を民主化する。
• 複数の探索空間に跨る、実機ハードウェアデータ主導の統一ベンチマークをHW-NASに提供する。
• 多様なデバイス上でHW-NASアルゴリズムの再現性と比較を可能にする。
• アーキテクチャ間でハードウェアコスト、エネルギー、レイテンシ、精度の関係を分析する。
• ハードウェアの専門家でなくてもデバイス特異的HW-NASを実施できる実践的なワークフローを示す。

提案手法

• NAS-Bench-201とFBNetの全アーキテクチャについて6デバイスに跨る測定済み/推定のハードウェアコスト（レイテンシ、エネルギー）を収集してHW-NAS-Benchを構築する。
• デバイス特有のコンパイルと測定手順を含むハードウェアコスト収集パイプラインを開発する。
• デバイスをエッジ商用GPU、Raspi、Edge TPU、Pixel 3、ASIC（Eyeriss）、FPGAに分類し、構成を記録する。
• Kendall順位相関を用いてハードウェアコストと理論メトリクス（FLOPs、パラメータ数）間の相関を分析する。
• 実データ比較を通じてデバイス間のばらつきとデバイス特異的HW-NASの必要性を評価する。
• データセットのクエリとデバイス特異的HW-NAS最適化を示す例のユーザーケースを提供する。

実験結果

リサーチクエスチョン

• RQ1 従来のハードウェアコスト代理指標（FLOPs、パラメータ数）は、さまざまなデバイスで実際のハードウェアコスト（レイテンシ、エネルギー）とどの程度相関するか？
• RQ2 同じアーキテクチャがデバイス間でハードウェアコストにどのような変動を示すか？
• RQ3 最適な精度-コストのトレードオフを達成するにはデバイス特異的HW-NASが必要か？
• RQ4 ハードウェアの専門知識を持たないHW-NAS研究者は公開ベンチマークを活用して効果的なHW-NASソリューションを開発できるか？
• RQ5 NAS-Bench-201とFBNetのアーキテクチャにおける精度とハードウェアコストの関係についてどんな洞察が得られるか？

主な発見

• 実機のハードウェアコストは複数デバイスにおいてFLOPsおよび#Paramsと乏しい相関を示し、FLOPsベースのHW-NASは最適でない可能性を示している。
• 同じアーキテクチャのハードウェアコストはデバイス間で大きく異なることがあり、時にはほぼゼロの相関となる。
• デバイス特異的HW-NASはクロスデバイス転移よりしばしば良い精度-コストのトレードオフをもたらし、デバイス適合最適化の必要性を強調する。
• HW-NAS-Benchは事前に測定済みデータをクエリすることで非ハードウェア専門家がHW-NASを実行できるようにし、参入障壁を低減する。
• NAS-Bench-201とFBNet領域の評価は、ターゲットデバイスに応じて異なる最適アーキテクチャを示し、デバイス特異的HW-NASの主張を裏付けている。
• データセットとパイプラインは複数のハードウェアターゲットに跨る再現可能なHW-NASベンチマークを促進する。