[論文レビュー] A Survey of FPGA-Based Neural Network Accelerator

Kaiyuan Guo, Shulin Zeng+3 more|arXiv (Cornell University)|Dec 24, 2017

Advanced Neural Network Applications参考文献 73被引用数 140

ひとこと要約

この調査は FPGA ベースのニューラルネットワーク推論アクセラレータをレビューし、ハードウェア-ソフトウェア技術、モデル圧縮、アーキテクチャ戦略を詳述して速度とエネルギー効率を向上させ、GPU と比較する。

ABSTRACT

Recent researches on neural network have shown significant advantage in machine learning over traditional algorithms based on handcrafted features and models. Neural network is now widely adopted in regions like image, speech and video recognition. But the high computation and storage complexity of neural network inference poses great difficulty on its application. CPU platforms are hard to offer enough computation capacity. GPU platforms are the first choice for neural network process because of its high computation capacity and easy to use development frameworks. On the other hand, FPGA-based neural network inference accelerator is becoming a research topic. With specifically designed hardware, FPGA is the next possible solution to surpass GPU in speed and energy efficiency. Various FPGA-based accelerator designs have been proposed with software and hardware optimization techniques to achieve high speed and energy efficiency. In this paper, we give an overview of previous work on neural network inference accelerators based on FPGA and summarize the main techniques used. An investigation from software to hardware, from circuit level to system level is carried out to complete analysis of FPGA-based neural network inference accelerator design and serves as a guide to future work.

研究の動機と目的

• CPU/GPUsと比較したFPGAベースのNN推論の課題と機会を評価する。
• FPGA上で高スループットと省エネルギーを実現するソフトウェアおよびハードウェアの最適化手法を要約する。
• ハードウェア指向のモデル圧縮手法とそれが精度と性能に与える影響を分析する。
• 計算ユニット、ループ展開、システム統合を横断するアーキテクチャ設計戦略を評価する。
• 将来のFPGAベースNNアクセラレータ開発への指針を提供する。

提案手法

• エネルギー効率を分析するためのFPGAベースNNアクセラレータ向けのシンプルな性能モデルを提示する。
• データ量子化、ウェイト削減、プルーニングをハードウェア指向の圧縮手法としてレビューする。
• 固定小数点および異種ビット幅戦略を用いた計算ユニット設計を紹介する。
• 畳み込み層の高速畳み込み法（DFT/FFT、Winograd）と周波数最適化を論じる。
• スループットと利用率を向上させるためのループ展開、バッチ処理、パイプライン戦略を説明する。
• 最新のFPGAベースNNアクセラレータ設計を比較して達成可能な性能を推測する。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのNN推論で高いスループットとエネルギー効率を達成する際の核となる設計課題は何か？
• RQ2 ハードウェア指向のモデル圧縮手法（量子化、プルーニング、低秩近似）はFPGA上の精度とハードウェア性能にどのような影響を与えるか？
• RQ3 どのアーキテクチャ戦略（計算ユニット、ループ展開、メモリ編成）がFPGA NNアクセラレータの性能を最も効果的に高めるか？
• RQ4 FPGA実装における高速畳み込みと周波数最適化手法の利点とトレードオフは何か？
• RQ5 NN推論におけるエネルギー効率の観点でFPGAベースのアクセラレータはGPUとどう比較されるか？

主な発見

• FPGAベースのNNアクセラレータは、モデルの量子化と疎結合表現を活用することで高いエネルギー効率を達成できる。
• ハードウェア指向の量子化（線形および非線形）とウェイト削減は、計算とメモリコストを大幅に削減できる。
• 低ビット幅計算ユニットと異種ビット幅設計は、適切なトレーニング/ファインチューニングと組み合わせることで精度を保ちつつリソース使用を削減する。
• 高速畳み込み手法（DFT/FFTおよびWinograd）は、カーネルサイズとハードウェア制約の下で畳み込み層の理論的なスピードアップを提供する。
• 高速なFPGA設計は、積極的なループ展開、バッチ処理、周波数最適化を活用してスループットを向上させる。最適化されたメモリアクセスを持つ設計はより良い利用率を示す。
• ソフトウェアレベルのモデル圧縮からハードウェアレベルのアーキテクチャ設計までの総合的な視点が、FPGA NNアクセラレータの性能を最大化するために不可欠である。