[論文レビュー] Exploration of Low Numeric Precision Deep Learning Inference Using Intel FPGAs

Philip Colangelo, Nasibeh Nasiri+4 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications参考文献 16被引用数 25

ひとこと要約

本論文は、1ビットおよび2ビットのデータ幅を用いた低精度ディープラーニング推論のためのカスタムFPGAベースのハードウェアアクセラレータを提示している。高いスループットとエネルギー効率を達成しており、ImageNet上で2ビット活性化および三値重みAlexNetが1秒間に3,700枚の画像を処理し、トップ1精度49%を達成した。また、Stratix 10 FPGAを用いたResNet-34では、単精度に近い性能（精度低下3.7%）を実現した。

ABSTRACT

CNNs have been shown to maintain reasonable classification accuracy when quantized to lower precisions. Quantizing to sub 8-bit activations and weights can result in accuracy falling below an acceptable threshold. Techniques exist for closing the accuracy gap of limited numeric precision typically by increasing computation. This results in a trade-off between throughput and accuracy and can be tailored for different networks through various combinations of activation and weight data widths. Hardware architectures like FPGAs provide the opportunity for data width specific computation through unique logic configurations leading to highly optimized processing that is unattainable by full precision networks. Ternary and binary weighted networks offer an efficient method of inference for 2-bit and 1-bit data respectively. Most hardware architectures can take advantage of the memory storage and bandwidth savings that come along with smaller datapaths, but very few architectures can take advantage of limited numeric precision at the computation level. In this paper, we present a hardware design for FPGAs that takes advantage of bandwidth, memory, power, and computation savings of limited numerical precision data. We provide insights into the trade-offs between throughput and accuracy for various networks and how they map to our framework. Further, we show how limited numeric precision computation can be efficiently mapped onto FPGAs for both ternary and binary cases. Starting with Arria 10, we show a 2-bit activation and ternary weighted AlexNet running in hardware that achieves 3,700 images per second on the ImageNet dataset with a top-1 accuracy of 0.49. Using a hardware modeler designed for our low numeric precision framework we project performance most notably for a 55.5 TOPS Stratix 10 device running a modified ResNet-34 with only 3.7% accuracy degradation compared with single precision.

研究の動機と目的

• FPGAを用いた低数値精度推論（1〜2ビット）の実現可能性と性能トレードオフを検討すること。
• FPGAの再構成性を活用して、8ビット未満の精度で効率的な計算を実現するハードウェア最適化フレームワークを設計すること。
• 三値および二値重みと活性化のための特化したハードウェアマッピングにより、量子化されたネットワークにおける精度の低下を最小限に抑えること。
• 複数のネットワークアーキテクチャ（例：AlexNet、ResNet-34）におけるスループット、電力効率、精度のトレードオフを評価すること。
• ハイエンドFPGA（例：Stratix 10）を用いた近似単精度推論の性能を予測すること、精度損失を最小限に抑えること。

提案手法

• Intel Arria 10およびStratix 10 FPGAを用いて、1ビットおよび2ビットのデータ幅に特化した再構成可能なFPGAアーキテクチャを設計した。
• 三値（±1）および二値（±1）の重みと2ビットの活性化のための低精度乗算累積演算を実行する専用論理ユニットを採用した。
• FPGAが各演算ごとにデータ幅をカスタマイズできる能力を活かして、データパス幅の縮小によりメモリ帯域幅とストレージを最適化した。
• 異なるネットワーク構成およびFPGAデバイスにおける性能をシミュレート・予測するために、ハードウェアモデリングフレームワークを用いた。
• 特にResNet-34において精度を維持するために、量子化に注意を払ったトレーニングの原則を適用した。
• スループットを最大化するために、FPGAリソースへのネットワーク層のマッピングをカスタムパイプライン化および並列化した。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのハードウェアは、どのようにして1ビットおよび2ビットの推論演算を効率的に最適化できるか？
• RQ2 FPGAにおける低精度ディープラーニング推論において、スループット、エネルギー効率、精度のトレードオフはどのように変化するか？
• RQ3 三値および二値重みネットワークは、FPGAハードウェアにマッピングされた際に、どの程度の精度を維持できるか？
• RQ4 異なるFPGAデバイスおよびネットワークアーキテクチャにおいて、低精度推論の性能はどのようにスケーリングするか？
• RQ5 FPGA最適化ハードウェアを用いることで、8ビット未満の精度で単精度に近い精度を達成できるか？

主な発見

• 2ビット活性化および三値重みAlexNetは、ImageNet上で1秒間に3,700枚の画像を処理し、トップ1精度49%を達成した。
• データパス幅の縮小により、FPGA設計が顕著なメモリおよび帯域幅の節約を実現し、より高いスループットを可能にした。
• Stratix 10 FPGA上での修正済みResNet-34モデルは、単精度推論と比較してわずか3.7%の精度低下にとどまった。
• ハードウェアモデルャーは、Stratix 10デバイスが低精度推論で最大55.5 TOPSの性能を発揮できると予測した。
• このフレームワークは、FPGAが8ビット未満の精度で計算レベルの最適化を効果的に活用できることを示した。これは、一般的な一般用途ハードウェアでは達成できない。
• 結果として、適切なハードウェアマッピングと量子化技術を組み合わせることで、FPGA上での低精度推論が最小限の精度損失で実現可能であることが示された。