[論文レビュー] On Neural Architecture Search for Resource-Constrained Hardware Platforms

Qing Lu, Weiwen Jiang+3 more|arXiv (Cornell University)|Oct 31, 2019

Neural Networks and Applications参考文献 25被引用数 59

ひとこと要約

この論文は、資源制約を満たすようにニューラルアーキテクチャ、量子化、FPGAハードウェアマッピングを同時に探索するハードウェア-ソフトウェア共設計 NAS フレームワークを提案し、個別探索と比較してハードウェア制限下での精度向上を示します。

ABSTRACT

In the recent past, the success of Neural Architecture Search (NAS) has enabled researchers to broadly explore the design space using learning-based methods. Apart from finding better neural network architectures, the idea of automation has also inspired to improve their implementations on hardware. While some practices of hardware machine-learning automation have achieved remarkable performance, the traditional design concept is still followed: a network architecture is first structured with excellent test accuracy, and then compressed and optimized to fit into a target platform. Such a design flow will easily lead to inferior local-optimal solutions. To address this problem, we propose a new framework to jointly explore the space of neural architecture, hardware implementation, and quantization. Our objective is to find a quantized architecture with the highest accuracy that is implementable on given hardware specifications. We employ FPGAs to implement and test our designs with limited loop-up tables (LUTs) and required throughput. Compared to the separate design/searching methods, our framework has demonstrated much better performance under strict specifications and generated designs of higher accuracy by 18\% to 68\% in the task of classifying CIFAR10 images. With 30,000 LUTs, a light-weight design is found to achieve 82.98\% accuracy and 1293 images/second throughput, compared to which, under the same constraints, the traditional method even fails to find a valid solution.

研究の動機と目的

• 資源制約の下でアーキテクチャとハードウェアを同時に最適化する共設計NASの必要性を動機付ける。
• ニューラルアーキテクチャ、量子化方式、およびFPGAハードウェアマッピングを共に探索するフレームワークを提案する。
• 共同探索が、従来の分離型アプローチよりもハードウェア制限下で高い精度をもたらすことを示す。

提案手法

• アーキテクチャと量子化空間を探索する強化学習コントローラを使用する。
• LUTとスループット制約を満たすダイナミックプログラミングに基づくフロンティア剪定を用いたハードウェア空間探索を導入する。
• 活性化には固定小数点無符号、重みには符号付きで、ビット幅を訓練可能とする量子化をモデル化する。
• 迅速なハードウェア実現性チェックと、実現可能な場合には訓練/検証を行う2段階の評価を採用する。
• FPGA（Altera Cyclone IV）上で100 MHzクロックのエンドツーエンドのCNNアクセラレータ設計を実証する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ、量子化、およびハードウェアマッピングの共同探索は、固定ハードウェア制約の下で分離型のNASおよび量子化探索を超える実現可能な設計を生み出すことができるか。
• RQ2 量子化とハードウェア制約は、CIFAR-10で達成可能な精度にどのように影響するか。
• RQ3 協設計NASから生じるフレームワークレベルの利点（例: 精度とハードウェア指標のパレートフロンティア）は何か。

主な発見

• 共同のアーキテクチャ-量子化-ハードウェア探索は、CIFAR-10の実験において、分離探索手法よりも資源制約下で高い精度を達成する。
• LUTとスループット制約の下で、3万 LUT の設計が 82.98% の精度と 1293 frames/second を達成。
• 100k LUT未満のいくつかの設計はほぼ90%の精度に近づく（例: 量子化なしで89.71%、いくつかのケースでは量子化で最大90.30%）。
• 量子化のみの探索は、スループット要件が厳しい場合に精度を大幅に低下させる可能性があるが、共同探索は堅牢な性能を回復する。
• このフレームワークはフロンティアアプローチを用いたダイナミックプログラミングベースのハードウェア空間探索の剪定を行い、層間でのスケーラブルな探索を可能にする。
• 最適な共同設計は、いくつかのベースラインアーキテクチャと比較して、 substantially lower hardware resources で競争力のある精度を示す。