[論文レビュー] Design Flow of Accelerating Hybrid Extremely Low Bit-width Neural Network in Embedded FPGA

Junsong Wang, Qiuwen Lou+4 more|arXiv (Cornell University)|Jul 31, 2018

Advanced Neural Network Applications参考文献 21被引用数 5

ひとこと要約

本論文は、埋め込みFPGA上でハイブリッド極めて低ビット幅ニューラルネットワーク（ELB-NNs）を高速化するための設計フローを提案する。重みと活性化の柔軟でレイヤー特化型の量子化を用いる。エンドツーエンドの自動化ツールAccELBはRTLコーディングを不要とし、最適化されたFPGA実装を生成する。埋め込みFPGA上で最大10.3 TOPSおよび1ワットあたり325.3枚の画像/秒の性能を達成し、エネルギー効率においてGPUおよび先行のFPGAソリューションを上回る。

ABSTRACT

Neural network accelerators with low latency and low energy consumption are desirable for edge computing. To create such accelerators, we propose a design flow for accelerating the extremely low bit-width neural network (ELB-NN) in embedded FPGAs with hybrid quantization schemes. This flow covers both network training and FPGA-based network deployment, which facilitates the design space exploration and simplifies the tradeoff between network accuracy and computation efficiency. Using this flow helps hardware designers to deliver a network accelerator in edge devices under strict resource and power constraints. We present the proposed flow by supporting hybrid ELB settings within a neural network. Results show that our design can deliver very high performance peaking at 10.3 TOPS and classify up to 325.3 image/s/watt while running large-scale neural networks for less than 5W using embedded FPGA. To the best of our knowledge, it is the most energy efficient solution in comparison to GPU or other FPGA implementations reported so far in the literature.

研究の動機と目的

• エッジデバイスにおける厳密な電力および面積予算を満たす、大規模かつエネルギー制約のあるDNNのデプロイの課題に対処する。
• 精度、遅延、エネルギー効率のバランスを取るために、重みと活性化の各レイヤーごとのビット幅最適化を可能にする。
• 手動でのRTLプログラミングを排除し、ハイブリッドELB-NNのFPGAデプロイを簡素化するエンドツーエンドの自動化パイプラインを開発する。
• 低精度推論におけるGPUおよび先行のFPGAベースのDNNアクセラレータと比較して、優れたエネルギー効率を達成する。

提案手法

• 異なるビット幅（例：2ビット、4ビット、8ビット）をレイヤー間およびレイヤー内で変更可能なハイブリッド量子化方式を提案する。
• ハイブリッドELB-NNの非均質な精度要件に適合した、パイプライン化され高スルーレートの推論アーキテクチャを設計する。
• 混合精度設定を用いた正確な低精度モデル学習を可能にする、Caffeベースのトレーニングフレームワークを実装する。
• Caffeのprototxtを、事前に最適化されたライブラリを用いて最適化された高性能FPGA RTLにマッピングするエンドツーエンドの自動化ツールAccELBを開発する。
• VGG16のような大規模モデルでさえ、重みがバイナリ化されていても、オフチップメモリアクセスを管理するメモリ階層を統合する。
• Xilinx ZC706 FPGAボードを評価に用い、正確なエネルギー効率レポートのため、デジタル電力計を用いて電力測定を実施する。

実験結果

リサーチクエスチョン

• RQ1 レイヤー間およびレイヤー内でのビット幅を変更可能なハイブリッド量子化方式は、FPGA上でのELB-NNにおける精度と効率のトレードオフをどのように改善するか？
• RQ2 埋め込みFPGAアクセラレータにおけるエネルギー効率を最大化するための最適な混合精度重みと活性化の設定は何か？
• RQ3 自動化ツールチェーンは、低レベルのRTLプログラミングの必要性を排除しつつ、高い性能とエネルギー効率を達成できるか？
• RQ4 提案されたFPGAベースのELB-NNアクセラレータは、DNN推論における最先端のGPUおよびFPGAソリューションと比較して、エネルギー効率でどのように差をつけるか？
• RQ5 リソース制限のある埋め込みFPGAに展開された大規模ELB-NN（例：VGG16）の性能および電力特性は何か？

主な発見

• 提案された設計は、埋め込みFPGA上で最大10.3 TOPSのピーク性能を達成し、大規模ELB-NNの高計算スルーレートを示した。
• AlexNetでは4-8218ハイブリッド量子化設定下で、エネルギー効率が1ワットあたり325.3枚の画像/秒に達し、エッジ（TX2）およびデータセンター（P4）GPUを最大3.9倍上回った。
• AccELB自動化ツールにより、RTLコーディングなしでFPGAデプロイが可能となり、設計時間と複雑さが顕著に削減された。
• 同等のハイエンドFPGAソリューションよりも2倍高いLUT効率（キロLUTあたりのGOPs）を達成し、最も効率の良い先行研究よりも13%優れた性能を示した。
• わずかに低い精度（AccELB(1)：49.3% 対 INT8 GPU：54.6%）であったが、本ソリューションは特に小規模バッチサイズにおいて優れたエネルギー効率を維持した。
• バイナリ化された重みでさえも、メモリ階層を統合することで、VGG16のような大規模モデルのサポートが可能となり、オンチップメモリの制限を克服した。