[論文レビュー] Mix and Match: A Novel FPGA-Centric Deep Neural Network Quantization Framework

Sung-En Chang, Yanyu Li+6 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Neural Network Applications参考文献 75被引用数 7

ひとこと要約

本論文は、FPGAのリソースの非均質性を活用するため、重み行列の異なる行に混合量子化方式（累乗の和（SP2）と固定小数点）を適用する、FPGA中心のDNN量子化フレームワーク「Mix and Match」を提案する。重み分布の特性に応じて量子化方式をマッチングさせることで、DSPのみの実装に比べて2.1×～4.1×の性能向上を達成しながら、精度を維持または向上させた。

ABSTRACT

Deep Neural Networks (DNNs) have achieved extraordinary performance in various application domains. To support diverse DNN models, efficient implementations of DNN inference on edge-computing platforms, e.g., ASICs, FPGAs, and embedded systems, are extensively investigated. Due to the huge model size and computation amount, model compression is a critical step to deploy DNN models on edge devices. This paper focuses on weight quantization, a hardware-friendly model compression approach that is complementary to weight pruning. Unlike existing methods that use the same quantization scheme for all weights, we propose the first solution that applies different quantization schemes for different rows of the weight matrix. It is motivated by (1) the distribution of the weights in the different rows are not the same; and (2) the potential of achieving better utilization of heterogeneous FPGA hardware resources. To achieve that, we first propose a hardware-friendly quantization scheme named sum-of-power-of-2 (SP2) suitable for Gaussian-like weight distribution, in which the multiplication arithmetic can be replaced with logic shifter and adder, thereby enabling highly efficient implementations with the FPGA LUT resources. In contrast, the existing fixed-point quantization is suitable for Uniform-like weight distribution and can be implemented efficiently by DSP. Then to fully explore the resources, we propose an FPGA-centric mixed scheme quantization (MSQ) with an ensemble of the proposed SP2 and the fixed-point schemes. Combining the two schemes can maintain, or even increase accuracy due to better matching with weight distributions.

研究の動機と目的

• FPGA上でDNN重み行列の全行に均一な量子化方式を適用する場合の非効率性を是正すること。
• LUTとDSPといったFPGAの非均質なリソースを、重み分布の特性に応じた量子化方式のマッチングによって活用すること。
• FPGAベースのDNN推論における精度、パフォーマンス、リソース利用効率を最適化する、ハードウェアに配慮した量子化フレームワークの開発。
• LUTとDSPを用いた混合精度計算をサポートする、効率的でパrameterized（パrameter化可能な）GEMMアーキテクチャの実現。
• 多様なDNNモデルとFPGAプラットフォームを対象にフレームワークを評価し、優れたパフォーマンスと精度を示すこと。

提案手法

• ガウス分布に近い重み分布に適した、ハードウェアに優しい新規量子化方式「累乗の和（SP2）」を提案。ビットシフトと加算によるLUTベースの乗算を効率的に実現可能。
• 一様分布に近い重み分布に対しては、FPGAのDSPブロックで効率的に実装可能な固定小数点量子化を採用。
• SP2重み用のLUTコアと固定小数点重み用のDSPコアを備えた、2つの非均質なコアを持つパrameterized（パrameter化可能な）GEMMアーキテクチャを設計。
• FPGAリソースの特性を踏まえた上で、量子化比とモデル精度を共同最適化するMSQ（混合方式量子化）トレーニングアルゴリズムを開発。
• 重みの分布とハードウェア効率性に基づいて、異なる重み行をSP2または固定小数点方式に割り当てるパーティショニング戦略を採用。
• FPGAリソース制約を尊重しながら量子化誤差を最小化し、スループットを最大化するリソースに配慮したトレーニングループを統合。

Figure 1: Quantization levels by fixed-point, power-of-2, and SP2 in 4-bit weight representation precision, and weight probability distribution of the 4th layer in MobileNet-V2.

実験結果

リサーチクエスチョン

• RQ1 DNN重み行列の異なる行に異なる量子化方式を適用することで、均一な量子化に比べてFPGA推論性能が向上するか？
• RQ2 SP2量子化は、FPGA実装におけるガウス分布に近い重み分布のLUTリソースを効果的に活用するためにどのように有効に利用できるか？
• RQ3 FPGA上での精度、パフォーマンス、リソース利用効率という観点から、SP2と固定小数点の量子化方式の最適なトレードオフは何か？
• RQ4 混合方式量子化フレームワークは、精度を維持または向上させつつ、FPGA上で推論スループットを顕著に向上させられるか？
• RQ5 提案されたMSQトレーニングアルゴリズムは、変化する重み分布とFPGAハードウェア制約にどのように適応するか？

主な発見

• 提案されたMix and Matchフレームワークは、Zynq XC7Z020およびXC7Z045 FPGA上で、DSPのみの実装に比べて2.1×～4.1×の高いパフォーマンスを達成した。
• MSQ方式は、重み分布の特性に適切にマッチングされるため、ベースラインの量子化手法に比べて精度を維持または向上させた。
• 最適なSP2/固定小数点比を採用した場合、XC7Z045では最大549.3 FPS、XC7Z020では最大493 GOPSのスループットを達成した。
• XC7Z045では、LUTあたり5.747 GOPSの高いLUT利用効率を実現した。
• 提案されたSP2量子化により、LUTベースの乗算が効率的に行えるようになり、DSPへの依存が軽減され、リソース利用効率が向上した。
• 非均質なコアを持つパrameterized（パrameter化可能な）GEMMアーキテクチャにより、多様なDNNモデルにおいて柔軟かつ高スループットの推論が可能になった。

Figure 2: Resource ratio of different FPGA devices. For each device, LUT, FF, and BRAM numbers are all normalized with respect to DSP number.