[論文レビュー] FPGA/DNN Co-Design: An Efficient Design Methodology for IoT Intelligence on the Edge

Cong Hao, Xiaofan Zhang+6 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Neural Network Applications参考文献 19被引用数 13

ひとこと要約

本論文は、リソース制限のあるFPGA上でエッジAIを最適化するため、下位互換DNNモデル探索と上位互換FPGAアクセラレータ設計を組み合わせた同時FPGA/DNN共同設計手法を提案する。自動化エンジン（Auto-DNNおよびAuto-HLS）を用い、ハードウェアに配慮したDNNと合成可能なかたちのCコードを生成する。PYNQ-Z1における物体検出タスクにおいて、最先端のFPGA設計と比較して6.2%高いIoU、2.48倍高いFPS、40%低い消費電力、2.5倍優れたエネルギー効率を達成した。

ABSTRACT

While embedded FPGAs are attractive platforms for DNN acceleration on edge-devices due to their low latency and high energy efficiency, the scarcity of resources of edge-scale FPGA devices also makes it challenging for DNN deployment. In this paper, we propose a simultaneous FPGA/DNN co-design methodology with both bottom-up and top-down approaches: a bottom-up hardware-oriented DNN model search for high accuracy, and a top-down FPGA accelerator design considering DNN-specific characteristics. We also build an automatic co-design flow, including an Auto-DNN engine to perform hardware-oriented DNN model search, as well as an Auto-HLS engine to generate synthesizable C code of the FPGA accelerator for explored DNNs. We demonstrate our co-design approach on an object detection task using PYNQ-Z1 FPGA. Results show that our proposed DNN model and accelerator outperform the state-of-the-art FPGA designs in all aspects including Intersection-over-Union (IoU) (6.2% higher), frames per second (FPS) (2.48X higher), power consumption (40% lower), and energy efficiency (2.5X higher). Compared to GPU-based solutions, our designs deliver similar accuracy but consume far less energy.

研究の動機と目的

• リソース制限のあるエッジFPGAにおいて、厳密な遅延および消費電力制約のもとで高精度DNNを実装する課題に対処すること。
• DNN開発中にハードウェア制約を無視する伝統的な上位互換設計フローの限界を克服すること。
• 自動化された共同設計フローにより、DNNアーキテクチャとFPGAアクセラレータ設計を同時に最適化すること。
• 埋め込みFPGAにおけるエッジAIワークロードにおいて、精度、速度、消費電力効率、エネルギー効率の優れたパフォーマンスを達成すること。

提案手法

• 予測可能なリソース使用量を実現するため、DNNアーキテクチャ探索を制限・誘導するハードウェアに配慮したDNNテンプレート（Bundle-Arch）を提案する。
• ハードウェア制約の下でDNN空間を探索し、高精度でFPGAに適したモデルを同定する自動DNNモデル探索エンジン「Auto-DNN」を導入する。
• Auto-DNNが生成する任意のDNNをサポートする、タイルベースで細粒度のパイプラインアーキテクチャをFPGAアクセラレータに開発する。
• DNNモデルからFPGAアクセラレータ用の合成可能なかたちのCコードを生成する自動HLS生成ツール「Auto-HLS」を導入し、遅延およびリソース推定を可能にする。
• Auto-DNNとAuto-HLSを統合した完全自動の共同設計フローを構築し、DNNとアクセラレータ設計を共同で最適化する。
• ループ統合およびオンチップバッファ割り当てを適用し、生成されたCコードのパフォーマンスをさらに最適化する。

実験結果

リサーチクエスチョン

• RQ1 DNNアーキテクチャとFPGAアクセラレータ設計を同時に最適化する共同設計手法は、エッジFPGAにおける従来の上位互換アプローチを上回ることができるか？
• RQ2 リソース制限のあるFPGA上で、ハードウェアに配慮したDNN探索は、標準DNNと比較してどれほど精度と効率を向上させることができるか？
• RQ3 提案された自動共同設計フローは、高精度、低遅延、高エネルギー効率を達成する一方で、開発作業負荷をどの程度低減できるか？
• RQ4 共同設計されたDNNとアクセラレータは、はるかに低い消費電力で動作しながら、GPUベースのソリューションと同等のパフォーマンスを達成できるか？
• RQ5 実際の埋め込みFPGAプラットフォーム上での本手法を用いることで、精度、1秒あたりフレーム数（FPS）、消費電力の間でどのようなトレードオフを達成できるか？

主な発見

• 提案された共同設計手法は、DAC-SDCコンペティションで1位となったFPGAソリューションと比較して、6.2%高い交差領域率（IoU）を達成した。
• 実装では、最先端のFPGA設計と比較して2.48倍高い1秒あたりフレーム数（FPS）を達成し、PYNQ-Z1上で150 MHzで29.7 FPSを記録した。
• 最高の既存FPGA設計と比較して、消費電力が40%低減され、全推論パイプラインでわずか2.4Wの消費電力に抑えた。
• 最先端のFPGA設計と比較してエネルギー効率が2.5倍向上し、GPUベースのソリューションと比較しても3.1～3.8倍優れていた。
• DNNモデルは150 MHzで17.4 FPS、68.6%のIoUを達成し、精度およびエネルギー効率の両面で1位のFPGAソリューションを上回った。
• GPUベースの設計と比較すると、精度は0.1%高い（3位と比較して）か、わずかに1.2%低い（1位と比較して）であったが、6倍遅いクロック周波数でも3.6倍優れたエネルギー効率を達成した。