[論文レビュー] A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks

Yixing Li, Zichuan Liu+3 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Neural Network Applications参考文献 25被引用数 5

ひとこと要約

本論文は、ビット単位の演算と深いパイプラインを活用することで、小バッチ推論において、Titan X GPUと比較して8.3倍の高いスループットと75倍の優れたエネルギー効率を達成する、FPGAベースのアクセラレータアーキテクチャを提示している。この設計は、ビット単位の計算を活用することで、GPUよりもスループットとエネルギー効率の両面で優れている。バッチサイズにかかわらず一貫したパフォーマンスを維持する。

ABSTRACT

FPGA-based hardware accelerators for convolutional neural networks (CNNs) have obtained great attentions due to their higher energy efficiency than GPUs. However, it is challenging for FPGA-based solutions to achieve a higher throughput than GPU counterparts. In this paper, we demonstrate that FPGA acceleration can be a superior solution in terms of both throughput and energy efficiency when a CNN is trained with binary constraints on weights and activations. Specifically, we propose an optimized FPGA accelerator architecture tailored for bitwise convolution and normalization that features massive spatial parallelism with deep pipelines stages. A key advantage of the FPGA accelerator is that its performance is insensitive to data batch size, while the performance of GPU acceleration varies largely depending on the batch size of the data. Experiment results show that the proposed accelerator architecture for binary CNNs running on a Virtex-7 FPGA is 8.3x faster and 75x more energy-efficient than a Titan X GPU for processing online individual requests in small batch sizes. For processing static data in large batch sizes, the proposed solution is on a par with a Titan X GPU in terms of throughput while delivering 9.5x higher energy efficiency.

研究の動機と目的

• FPGAベースのCNNアクセラレータがGPU並みのスループットを達成するという課題に対処すること。
• バイナリ重みと活性化を活用することで、推論ワークロードにおけるエネルギー効率を向上させること。
• GPUのワークロードとは異なり、さまざまなバッチサイズにおいても高いパフォーマンスを維持できるFPGAアーキテクチャを設計すること。
• FPGAがBNNのワークロードにおいて、GPUを上回るスループットとエネルギー効率を達成できることを実証すること。

提案手法

• ビット単位の畳み込み演算において、複数のビットを同時に処理するために、大規模な空間的並列処理を採用している。
• スループットを最大化し、計算ユニットの利用率を一定に保つために、深いパイプライン段階を用いている。
• バイナリ畳み込みとバッチ正則化に特化した設計により、余分な演算を最小限に抑えている。
• バッチサイズに依存しないスループットを実現するため、小バッチサイズでも高いパフォーマンスを維持している。
• 遅延を低減し、帯域幅の利用効率を最大化するために、カスタムデータフローとメモリアクセスパターンを最適化している。
• 実際のパフォーマンスとエネルギー効率を評価するために、Virtex-7 FPGAにアクセラレータを実装している。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのアクセラレータは、バイナリ畳み込みニューラルネットワークにおいて、GPUを上回るスループットを達成できるか？
• RQ2 GPUのワークロードとは異なり、FPGA設計はさまざまなバッチサイズにおいて一貫したパフォーマンスを維持できるか？
• RQ3 FPGAアクセラレータは、BNN推論においてGPUを上回るエネルギー効率を達成できるか？
• RQ4 どのようなアーキテクチャ的最適化が、FPGAアクセラレーションがBNNワークロードでGPUを上回る要因となっているか？

主な発見

• 提案されたFPGAアクセラレータは、小バッチ推論（バッチサイズ = 1）において、Titan X GPUと比較して8.3倍の高いスループットを達成した。
• 小バッチ処理において、FPGAはTitan X GPUと比較して75倍もエネルギー効率が優れていた。
• 大バッチのシナリオでは、FPGAはTitan X GPUと同等のスループットを達成したが、エネルギー効率は9.5倍も優れていた。
• FPGAのパフォーマンスはバッチサイズに依存せず、GPUとは異なり、小バッチで顕著に低下しなかった。
• 深いパイプライン化と空間的並列処理のおかげで、さまざまなワークロードにおいてもスループットが安定して維持された。
• 結果として、FPGAアクセラレーションがBNNにおいてGPUを上回るスループットとエネルギー効率を達成できることを示した。