[論文レビュー] MSP: An FPGA-Specific Mixed-Scheme, Multi-Precision Deep Neural Network Quantization Framework

Sung-En Chang, Yanyu Li+5 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Neural Network Applications参考文献 47被引用数 4

ひとこと要約

本稿では、FPGAに特化した新規の混合方式・多精度量子化フレームワークであるMSPを提案する。MSPは、LUTとDSPを共同で活用するため、和の累乗（SPoT）と固定小数点量子化を組み合わせたものである。5%の8ビット重みを内蔵する層内多精度量子化により、固定小数点量子化と比較して3.53倍の高速化を達成し、ImageNet上で70.47%のTop1精度を維持した。これにより、精度を損なわず、ハードウェアの利用効率を最大化した。

ABSTRACT

With the tremendous success of deep learning, there exists imminent need to deploy deep learning models onto edge devices. To tackle the limited computing and storage resources in edge devices, model compression techniques have been widely used to trim deep neural network (DNN) models for on-device inference execution. This paper targets the commonly used FPGA (field programmable gate array) devices as the hardware platforms for DNN edge computing. We focus on the DNN quantization as the main model compression technique, since DNN quantization has been of great importance for the implementations of DNN models on the hardware platforms. The novelty of this work comes in twofold: (i) We propose a mixed-scheme DNN quantization method that incorporates both the linear and non-linear number systems for quantization, with the aim to boost the utilization of the heterogeneous computing resources, i.e., LUTs (look up tables) and DSPs (digital signal processors) on an FPGA. Note that all the existing (single-scheme) quantization methods can only utilize one type of resources (either LUTs or DSPs for the MAC (multiply-accumulate) operations in deep learning computations. (ii) We use a quantization method that supports multiple precisions along the intra-layer dimension, while the existing quantization methods apply multi-precision quantization along the inter-layer dimension. The intra-layer multi-precision method can uniform the hardware configurations for different layers to reduce computation overhead and at the same time preserve the model accuracy as the inter-layer approach.

研究の動機と目的

• リソース制限のあるFPGA上で低精度DNNを効率的にデプロイする課題に、高いハードウェア効率と最小限の精度損失を実現すること。
• 単一方式の量子化（例：LUTのみまたはDSPのみ）の制限を克服し、LUTとDSPを含む異種FPGAリソースを共同最適化すること。
• 層間方式ではなく層内多精度量子化を採用することで、ハードウェア構成の複雑さと計算オーバーヘッドを低減すること。
• 通常精度損失に敏感な最初の層と最後の層を量子化しても、精度損失なしに性能を維持できること。
• 混合精度と混合方式の操作をサポートする統一的でハードウェアに優しい量子化フレームワークを提供すること。

提案手法

• LUTを用いてビットシフトと加算演算を可能にする和の累乗（SPoT）量子化方式を提案し、DSPへの依存度を低減するとともに、通常の累乗方式と比較して精度の低下を最小限に抑える。
• FPGAリソースの利用状況に応じて動的にSPoTと固定小数点量子化を組み合わせる混合方式（MS）量子化を導入し、LUTとDSPの両方のリソースを最大限に活用する。
• 各層の5%の重みを8ビット精度に割り当てることで、層内多精度（MP）戦略を構築し、層間の異なるビット幅を必要とせず、モデルの精度を保持する。
• FPGAリソース利用状況の分析に基づき、最適化されたハイブリッド量子化比（例：65% SPoT、30% 固定小数点、5% 8ビット）を用い、精度と性能のバランスを図る。
• 同じ層内でSPoT、固定小数点、8ビット量子化を統合する統一フレームワークを採用し、精度損失なしに効率的なハードウェアマッピングを実現する。
• Xilinx XC7Z020およびXC7Z045 FPGAs（100MHzクロック）を用いて、ResNet-18およびMobileNet-v2の各々で、スループット、レイテンシ、リソース利用状況を測定してフレームワークの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 SPoTと固定小数点量子化を組み合わせた混合方式量子化は、単一方式の手法と比較して、FPGAリソースの利用効率を向上させることができるか？
• RQ2 ハードウェア効率と精度保持の観点から、層内多精度量子化は層間多精度量子化を上回る性能を発揮するか？
• RQ3 SPoT量子化は、LUT上でのビットシフト演算により、計算効率を維持しながら精度の低下を低減できるか？
• RQ4 提案されたMSPフレームワークは、XC7Z020およびXC7Z045などの実際のFPGAプラットフォームで、どれほど高速化され、精度を維持できるか？
• RQ5 混合方式と層内多精度量子化の組み合わせは、FPGA上でのDNN推論におけるスループットとリソース利用状況にどのように影響を与えるか？

主な発見

• MSPは、ResNet-18を用いてImageNetで70.47%のTop1精度を達成し、ベースラインの浮動小数点モデルよりも0.71%高い精度を実現した。
• FPGA上でのエンドツーエンド推論時間において、固定小数点量子化と比較して3.53倍の高速化を達成した。XC7Z045では、ResNet-18のスループットが120.5 GOPSから325.0 GOPSに向上した。
• すべての構成においてDSP利用率が100%を維持している一方、SPoT比を増加させることでLUT利用率が19%から69%に上昇した。これは、リソースの効果的バランスが取れていることを示している。
• 層内多精度戦略により、最初の層と最後の層を量子化しても精度損失なしに性能を維持でき、従来の手法がこれらの層の量子化を避けるのとは対照的である。
• アブレーションスタディの結果、単一方式の手法と比較して、混合方式量子化（MS）が速度と精度の両方を向上させ、層内MP戦略がさらに性能を向上させつつ精度を損なわないことが確認された。
• 最適な量子化比（65% SPoT、30% 固定小数点、5% 8ビット）は、FPGAリソース利用状況とパフォーマンスプロファイリングにより検証され、効率と精度の最良のトレードオフを達成した。