[論文レビュー] Scaling Binarized Neural Networks on Reconfigurable Logic

Nicholas J. Fraser, Yaman Umuroglu+5 more|arXiv (Cornell University)|Jan 12, 2017

Advanced Neural Network Applications参考文献 21被引用数 6

ひとこと要約

この論文は、大規模なFPGA上でバイナリニューラルネットワーク（BNNs）をスケーリングするFINNフレームワークを強化し、1ビットデータパスを維持しながら精度を向上させる-1ベースのパディング技術を導入した。14.8 TOPSの性能と41W未満の消費電力で、CIFAR-10で88.7%の精度を達成し、12,000 FPSの推論性能を実現した。これは、ADM-PCIE-8K5 FPGAプラットフォーム上で高い効率性とスケーラビリティを示している。

ABSTRACT

Binarized neural networks (BNNs) are gaining interest in the deep learning community due to their significantly lower computational and memory cost. They are particularly well suited to reconfigurable logic devices, which contain an abundance of fine-grained compute resources and can result in smaller, lower power implementations, or conversely in higher classification rates. Towards this end, the Finn framework was recently proposed for building fast and flexible field programmable gate array (FPGA) accelerators for BNNs. Finn utilized a novel set of optimizations that enable efficient mapping of BNNs to hardware and implemented fully connected, non-padded convolutional and pooling layers, with per-layer compute resources being tailored to user-provided throughput requirements. However, FINN was not evaluated on larger topologies due to the size of the chosen FPGA, and exhibited decreased accuracy due to lack of padding. In this paper, we improve upon Finn to show how padding can be employed on BNNs while still maintaining a 1-bit datapath and high accuracy. Based on this technique, we demonstrate numerous experiments to illustrate flexibility and scalability of the approach. In particular, we show that a large BNN requiring 1.2 billion operations per frame running on an ADM-PCIE-8K5 platform can classify images at 12 kFPS with 671 us latency while drawing less than 41 W board power and classifying CIFAR-10 images at 88.7% accuracy. Our implementation of this network achieves 14.8 trillion operations per second. We believe this is the fastest classification rate reported to date on this benchmark at this level of accuracy.

研究の動機と目的

• 埋め込みプラットフォームを超えて、大規模FPGA上でのバイナリニューラルネットワーク（BNNs）のスケーラビリティを解決すること。
• FINNのような既存のBNN FPGAアクセラレータで見られるパディングの欠如による精度の低下を克服すること。
• より大きなネットワークトポロジーをサポートするために、BNNアクセラレータにおけるBRAM利用効率を向上させること。
• 1ビットデータパスを維持しながら、再構成可能論理回路上で高スループット・低消費電力のBNN推論を可能にすること。
• 最新のFPGAプラットフォーム上で、FINNフレームワークを用いて大規模BNNで最先端のパフォーマンスを実証すること。

提案手法

• 1ビットデータパスを維持するため、0の代わりに-1の値を用いる修正されたパディング戦略を提案すること。
• MVTU（マトリクス・ベクトル・テンソルユニット）にアーキテクチャ的改善を施し、並列での複数ベクトル乗算をサポートすることで、BRAM利用効率を向上させること。
• ADM-PCIE-8K5 FPGA上でのメモリパーティショニングとリソース割り当ての最適化により、FINNフレームワークを拡張し、より大きなBNNをサポートすること。
• 各レイヤーのスループット要件に合わせた、スルーレイテンシに最適化されたコンピューティングリソースを備えたストリーミングアーキテクチャを実装すること。
• 乗算器を排除するため、XNORとポップカウント演算を用いてバイナリ推論を実装し、面積と消費電力を低減すること。
• オフチップメモリアクセスを最小限に抑えるために、重みと活性化バッファにオンチップメモリ（OCM）を活用すること。

実験結果

リサーチクエスチョン

• RQ1 最新のFPGA上で、1ビットデータパスを維持しながら、大規模かつ高スループットの推論タスクにBNNをスケーリングすることは可能か？
• RQ2 2ビットデータパスを必要とせずに、BNNに効果的なパディングを適用する方法は何か？
• RQ3 ハイエンドFPGA上で大規模ネットワークにスケーリングする際、FINNフレームワークの主なボトルネックは何か？
• RQ4 BNNアクセラレータにおけるBRAM利用効率をどの程度向上させられるか？
• RQ5 CIFAR-10で88%以上の精度を達成し、41W未満の消費電力で12,000 FPS以上の高推論レートをFPGA上のBNNで達成できるか？

主な発見

• 提案された-1ベースのパディングにより、CIFAR-10で88.7%の精度を達成しながらも1ビットデータパスを維持でき、パディングなしや0パディングと同等の精度を実現した。
• ADM-PCIE-8K5 FPGA上で、671 μsのレイテンシで12,000フレーム毎秒（FPS）の性能を達成した。
• 14.8万亿回/秒（TOPS）の性能を発揮し、ボード消費電力は41W未満であった。
• FINNにおけるBRAM利用効率は不十分で、MVTUの固定$F^m$に起因する重みメモリの断片化により、平均して約22%にとどまっていた。
• MVTUに並列での複数ベクトル乗算をサポートするアーキテクチャ的改善を施すことで、BRAM利用効率を顕著に向上させられ、リソースオーバーヘッドも低減できる。
• 本手法により、CIFAR-10で88.7%の精度を達成したBNNの分類レートとして、報告された最高水準の性能を達成し、FPGA上でのバイナリ推論の新たなパフォーマンスベンチマークを確立した。