[論文レビュー] A 7.663-TOPS 8.2-W Energy-efficient FPGA Accelerator for Binary Convolutional Neural Networks

Yixing Li, Zichuan Liu+3 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Neural Network Applications参考文献 4被引用数 26

ひとこと要約

本論文は、7.663-TOPS、8.2-WのFPGAアクセラレータを提示する。このアクセラレータは、バイナリ畳み込みニューラルネットワーク（BCNNs）を最適化しており、巨大な空間的並列処理と深いパイプラインを活用することで、小規模バッチ推論において、Titan X GPUに比べて8.3倍の高いスループットと75倍の優れたエネルギー効率を達成している。この設計はバッチサイズに依存せず、動的で低遅延なシナリオにおいてGPUを上回る性能を発揮する。

ABSTRACT

FPGA-based hardware accelerators for convolutional neural networks (CNNs) have obtained great attentions due to their higher energy efficiency than GPUs. However, it is challenging for FPGA-based solutions to achieve a higher throughput than GPU counterparts. In this paper, we demonstrate that FPGA acceleration can be a superior solution in terms of both throughput and energy efficiency when a CNN is trained with binary constraints on weights and activations. Specifically, we propose an optimized FPGA accelerator architecture tailored for bitwise convolution and normalization that features massive spatial parallelism with deep pipelines stages. A key advantage of the FPGA accelerator is that its performance is insensitive to data batch size, while the performance of GPU acceleration varies largely depending on the batch size of the data. Experiment results show that the proposed accelerator architecture for binary CNNs running on a Virtex-7 FPGA is 8.3x faster and 75x more energy-efficient than a Titan X GPU for processing online individual requests in small batch sizes. For processing static data in large batch sizes, the proposed solution is on a par with a Titan X GPU in terms of throughput while delivering 9.5x higher energy efficiency.

研究の動機と目的

• FPGA上でCNN推論の高スループットとエネルギー効率を達成する挑戦に応えること。
• バッチサイズに強く依存するGPUアクセラレータの性能変動を克服すること。
• バイナリ畳み込みおよび正規化演算に特化したFPGAアーキテクチャを設計すること。
• 小規模バッチサイズが一般的なリアルタイムで低遅延なアプリケーションにおいて高い性能を発揮できること。

提案手法

• ビット単位の畳み込み処理に適した、巨大な空間的並列処理と深いパイプライン段階を持つ、カスタムFPGAアクセラレータをVirtex-7 FPGAに実装する。
• ビットレベルの並列処理と簡略化された算術演算を活用することで、バイナリニューラルネットワークに最適化されたアーキテクチャを設計する。
• BCNN推論パイプラインにおけるバッチ正規化をサポートするため、効率的な正規化ユニットを統合する。
• さまざまなバッチサイズにおいても一貫した性能を維持し、スループットの低下を最小限に抑えるように設計を構造化する。
• 高水準合成とカスタムメモリアクセスパターンを用いて、データスループットを最大化し、遅延を最小限に抑える。
• リソース利用率とクロック周波数のバランスを取ることで、低消費電力（8.2 W）で高いスループットを実現する。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのアクセラレータは、バイナリCNN推論において、GPUを上回るスループットとエネルギー効率を達成できるか？
• RQ2 GPUと比較して、FPGAアクセラレータの性能は、入力バッチサイズの変化にどのように応じて変化するか？
• RQ3 空間的並列処理と深いパイプライン処理は、バイナリCNNアクセラレータのスループットをどの程度向上できるか？
• RQ4 オンラインアプリケーションで一般的な小規模バッチ推論において、FPGAアクセラレータは高い性能を維持できるか？

主な発見

• 提案されたFPGAアクセラレータは、Virtex-7 FPGA上で7.663 TOPSの推論スループットを達成している。
• 小規模バッチ推論（例：オンラインリクエスト）において、アクセラレータはTitan X GPUに比べて8.3倍速い。
• 小規模バッチのシナリオにおいて、FPGAソリューションはTitan X GPUに比べて75倍高いエネルギー効率を発揮する。
• 大規模バッチの静的データ処理においては、アクセラレータはTitan X GPUと同等のスループットを達成し、エネルギー効率は9.5倍優れている。
• アクセラレータの性能はバッチサイズにほとんど依存せず、GPUベースのソリューションとは対照的である。
• 本設計は、バイナリCNNに適用した場合、FPGAアクセラレーションがGPUアクセラレーションを上回るスループットとエネルギー効率を実現できることを示している。