[論文レビュー] A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities

Teng Wang, Chao Wang+2 more|arXiv (Cornell University)|Dec 25, 2018

Advanced Neural Network Applications参考文献 24被引用数 39

ひとこと要約

この論文は、特定のニューラルネットワークの種類、アルゴリズム、アーキテクチャを対象としたFPGAベースのディープラーニングアクセラレータの設計を分析し、その設計の概要を調査している。CPUおよびGPU実装と比較して、性能、効率性、再構成可能性の利点を強調するとともに、ディープラーニングワークロードにおけるハードウェア・ソフトウェア共同最適化の分野における主な課題と今後の研究機会を特定している。

ABSTRACT

With the rapid development of in-depth learning, neural network and deep learning algorithms have been widely used in various fields, e.g., image, video and voice processing. However, the neural network model is getting larger and larger, which is expressed in the calculation of model parameters. Although a wealth of existing efforts on GPU platforms currently used by researchers for improving computing performance, dedicated hardware solutions are essential and emerging to provide advantages over pure software solutions. In this paper, we systematically investigate the neural network accelerator based on FPGA. Specifically, we respectively review the accelerators designed for specific problems, specific algorithms, algorithm features, and general templates. We also compared the design and implementation of the accelerator based on FPGA under different devices and network models and compared it with the versions of CPU and GPU. Finally, we present to discuss the advantages and disadvantages of accelerators on FPGA platforms and to further explore the opportunities for future research.

研究の動機と目的

• 特定のニューラルネットワーク問題およびアルゴリズムに特化したFPGAベースのアクセラレータを体系的にレビューすること。
• 異なるネットワークモデルやデバイスにおいて、FPGAアクセラレータをCPUおよびGPU実装と比較すること。
• FPGAアクセラレータのパフォーマンス、エネルギー効率性、再構成可能性のトレードオフを分析すること。
• FPGA上でのカスタムディープラーニングアクセラレータ設計における主な課題と新たな機会を同定すること。

提案手法

• 画像処理、動画処理、音声処理などのターゲットアプリケーションに基づくFPGAアクセラレータの分類。
• レイヤーの種類、精度、スパarsityなどのアルゴリズム固有の特徴に注目したアクセラレータ設計の分析。
• レイテンシ、スループット、エネルギー効率性の観点から、FPGAベースのアクセラレータとCPUおよびGPUの同等物との比較。
• 異なるFPGAデバイスおよびネットワークアーキテクチャ（例：CNN、RNN）における設計のトレードオフの評価。
• 汎用FPGAアクセラレータフレームワークのための設計パターンおよびテンプレートの統合。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニング推論において、FPGAベースのアクセラレータはCPUおよびGPUと比較して、パフォーマンスおよびエネルギー効率性においてどのように異なるか？
• RQ2 多様なニューラルネットワークモデル向けにFPGAアクセラレータを設計するにあたり、主なアーキテクチャ的および実装上の課題は何か？
• RQ3 活性化関数やスパarsityなどのアルゴリズム固有の特徴が、FPGAアクセラレータ設計にどのように影響を与えるか？
• RQ4 FPGAを用いた再構成可能なディープラーニングハードウェア分野における今後の研究機会は何か？

主な発見

• FPGAベースのアクセラレータは、特に推論シナリオにおいて、CPUおよびGPUよりも高いエネルギー効率性と低いレイテンシを達成している。
• FPGA上でのカスタマイズされたアクセラレータは、データレベルおよびモデルレベルの並列性を活用することで、一般向けプラットフォームを上回る性能を発揮する。
• FPGAの再構成可能性は、多様かつ進化を続けるディープラーニングモデルに対する効率的なサポートを可能にする。
• 設計の複雑さとツールチェーンの制限は、FPGAアクセラレータ開発における依然として大きな課題である。
• 今後の研究は、生産性およびパフォーマンスの向上を目的とした自動化された設計フローと共同最適化手法に注力すべきである。