[論文レビュー] Benchmarking Quantized Neural Networks on FPGAs with FINN

Q. Ducasse, Pascal Cotret+2 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 22被引用数 13

ひとこと要約

この論文は、FINNフレームワークを用いてFPGA上で混合精度量子化ニューラルネットワークをベンチマークし、2–8ビット量子化が最小限の精度損失で最大62倍のスループット向上を実現することを示している。研究では並列化構成の評価が行われ、圧縮されたネットワークがFPGAに効率的にマッピング可能であり、最適化された量子化とハードウェアに配慮したトレーニングにより、低リソース使用量で高いパフォーマンスを達成できることを示している。

ABSTRACT

The ever-growing cost of both training and inference for state-of-the-art neural networks has brought literature to look upon ways to cut off resources used with a minimal impact on accuracy. Using lower precision comes at the cost of negligible loss in accuracy. While training neural networks may require a powerful setup, deploying a network must be possible on low-power and low-resource hardware architectures. Reconfigurable architectures have proven to be more powerful and flexible than GPUs when looking at a specific application. This article aims to assess the impact of mixed-precision when applied to neural networks deployed on FPGAs. While several frameworks exist that create tools to deploy neural networks using reduced-precision, few of them assess the importance of quantization and the framework quality. FINN and Brevitas, two frameworks from Xilinx labs, are used to assess the impact of quantization on neural networks using 2 to 8 bit precisions and weights with several parallelization configurations. Equivalent accuracy can be obtained using lower-precision representation and enough training. However, the compressed network can be better parallelized allowing the deployed network throughput to be 62 times faster. The benchmark set up in this work is available in a public repository (https://github.com/QDucasse/nn benchmark).

研究の動機と目的

• FPGAにデプロイされたニューラルネットワーク推論性能に、混合精度量子化が与える影響を評価すること。
• 再構成可能ハードウェアにおける低精度デプロイを可能にするFINNおよびBrevitasフレームワークの有効性を評価すること。
• 異なる量子化ビット幅（2–8ビット）および並列化戦略が、スループットと精度に与える影響を分析すること。
• FPGA上での量子化ネットワークの再現可能な評価を可能にする、公開可能なベンチマークスイートを提供すること。

提案手法

• 著者らはXilinxのFINNおよびBrevitasフレームワークを用いて、ニューラルネットワークを2–8ビットの固定小数点表現に量子化している。
• モデルの精度を低精度レベルで維持するために、トレーニング後の量子化とファインチューニングを適用している。
• ハードウェアに配慮したコンパイルを用いて、量子化されたネットワークをFPGAにマッピングし、並列実行を最適化している。
• スループットを、さまざまなビット幅および並列化構成の下で測定し、パフォーマンス向上を評価している。
• 再現性を確保し、将来的な比較を容易にするために、公開用のベンチマークリポジトリを整備している。

実験結果

リサーチクエスチョン

• RQ1 混合精度量子化は、FPGA上でのニューラルネットワークの精度とスループットにどのように影響を与えるか？
• RQ2 FPGAプラットフォーム上で2–8ビット量子化を用いることで、最大どれほどのパフォーマンス向上が達成可能か？
• RQ3 異なる並列化戦略は、FPGA上での量子化ネットワークの効率にどのように影響を与えるか？
• RQ4 全精度から2–8ビットに精度を低下させた場合、どれほど精度を保持できるか？

主な発見

• ファインチューニングを経た2–8ビット精度の量子化ネットワークは、全精度モデルと同等の精度を達成した。
• FPGA上での全精度推論と比較して、デプロイされたネットワークのスループットが最大62倍向上した。
• 低精度表現により、より積極的な並列化が可能となり、スループットが顕著に向上した。
• ベンチマーク環境は公開されており、FPGA上での量子化モデルの再現可能な評価が可能である。