[論文レビュー] Differentiable Dynamic Quantization with Mixed Precision and Adaptive Resolution

Zhaoyang Zhang, Wenqi Shao+3 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications参考文献 42被引用数 6

ひとこと要約

本稿では、ニューラルネットワークの各層において最適な量子化パラメータ（ビット幅、動的範囲、ステップサイズ）を同時に学習できる、完全に微分可能なフレームワークであるDifferentiable Dynamic Quantization (DDQ) を提案する。勾配ベース最適化によるエンドツーエンド学習を可能にすることで、4ビット量子化においても、ImageNet におけるMobileNetV2の損失なしの精度を達成する。

ABSTRACT

Model quantization is challenging due to many tedious hyper-parameters such as precision (bitwidth), dynamic range (minimum and maximum discrete values) and stepsize (interval between discrete values). Unlike prior arts that carefully tune these values, we present a fully differentiable approach to learn all of them, named Differentiable Dynamic Quantization (DDQ), which has several benefits. (1) DDQ is able to quantize challenging lightweight architectures like MobileNets, where different layers prefer different quantization parameters. (2) DDQ is hardware-friendly and can be easily implemented using low-precision matrix-vector multiplication, making it capable in many hardware such as ARM. (3) Extensive experiments show that DDQ outperforms prior arts on many networks and benchmarks, especially when models are already efficient and compact. e.g., DDQ is the first approach that achieves lossless 4-bit quantization for MobileNetV2 on ImageNet.

研究の動機と目的

• MobileNetのような効率的なアーキテクチャにおいて顕著なハイパーパramータ感受性を克服する。
• 固定量子化方式（例：均一または2の累乗）の限界を克服し、軽量モデルにおける不規則な重み分布を適切に捉える。
• 量子化パラメータのエンドツーエンド勾配最適化を可能にし、量子化誤差を最小限に抑え、モデル精度を維持する。
• ARMやその他のエッジデバイスでのデプロイメントに適した、低精度行列-ベクトル積に基づくハードウェアフレンドリーな量子化を実現する。
• 特に精度の余裕が小さいコンパクトモデルにおいて、トレーニング時間を短縮し、低ビット量子化の精度を向上させる。

提案手法

• 直線的推定器を用いて非微分可能な丸め操作を微分可能な近似に置き換えることで、量子化を微分可能な関数として定式化する。
• トレーニング中にバックプロパゲーションにより、各層ごとの量子化パラメータ（ビット幅、ステップサイズ、動的範囲）を学習する。
• 特に低ビット領域で量子化誤差を低減し、トレーニングを安定化させるために、勾配補正機構を導入する。
• メモリ制約下でも最適化可能な、各層ごとに異なるビット幅を許容する混合精度量子化をサポートする。
• 不規則な重み分布（例：正規分布、重たい尾を持つ分布、二峰性）に適応する非均一な量子化レベルを学習することで、適応的解像度を実現する。
• モバイルDSPやARMデバイスでの効率的なデプロイメントを可能にする、低精度行列-ベクトル乗算に基づくハードウェアフレンドリーな量子化を実装する。

実験結果

リサーチクエスチョン

• RQ1 完全に微分可能な量子化フレームワークとして、各層ごとにビット幅、ステップサイズ、動的範囲を同時に最適化し、量子化誤差を最小化できるか？
• RQ2 不規則な重み分布において、非均一な量子化レベルを用いた適応的解像度は、均一または2の累乗量子化器よりも精度を向上させるか？
• RQ3 勾配補正により、特に2ビットおよび4ビット量子化のような低ビット領域で、トレーニングの安定性が向上し、量子化誤差が低減するか？
• RQ4 DDQは、ImageNet におけるMobileNetV2の4ビット量子化を損失なしに実現でき、先行する最先端手法を上回るか？
• RQ5 各層のビット幅を学習する混合精度量子化は、固定精度ベースラインと比較して、精度と効率の両方を向上させるか？

主な発見

• DDQは、ImageNet におけるMobileNetV2の4ビット量子化を損失なしに達成し、全精度モデルと比較して精度低下をわずか0.4%に抑えた。
• DDQは、最先端の量子化手法と比較して、トレーニング実行時間を25%短縮したが、精度は維持または向上させた。
• 勾配補正を導入したDDQは、PACT+UQ や PACT+PoT と比較して、平均誤差0.35という低い量子化誤差を達成し、元の重み分布にさらに適切にフィットした。
• DDQは、完全精度の活性化を必要とせずに2ビットのMobileNetV2を正常に量子化でき、これは従来の手法では達成できなかった能力である。
• モバイルDSP上でDDQは、40%の低遅延を達成し、トップ1精度71.9%を記録した。これは、全精度モデルより低遅延であり、UQベースラインより3%高い精度であった。
• 各層のビット幅を学習する混合精度DDQは、ImageNet でトップ1精度71.9%を達成し、固定精度ベースラインを上回り、より良いメモリ-精度トレードオフを実現した。