[論文レビュー] A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification

Babak Rokh, Ali Azarpeyvand+1 more|arXiv (Cornell University)|May 14, 2022

Advanced Neural Network Applications参考文献 175被引用数 5

ひとこと要約

本調査は、画像分類における深層ニューラルネットワークのモデル量子化技術について包括的な分析を提供しており、クラスタリングベースの手法、スケールファクター近似、直線的推定子を用いたトレーニング戦略、および低精度計算をカバーしている。CIFAR-10およびImageNetにおける最先端手法の評価を通じて、量子化アプローチごとの精度、効率性、ハードウェアのトレードオフを統一的に比較している。

ABSTRACT

Recent advancements in machine learning achieved by Deep Neural Networks (DNNs) have been significant. While demonstrating high accuracy, DNNs are associated with a huge number of parameters and computations, which leads to high memory usage and energy consumption. As a result, deploying DNNs on devices with constrained hardware resources poses significant challenges. To overcome this, various compression techniques have been widely employed to optimize DNN accelerators. A promising approach is quantization, in which the full-precision values are stored in low bit-width precision. Quantization not only reduces memory requirements but also replaces high-cost operations with low-cost ones. DNN quantization offers flexibility and efficiency in hardware design, making it a widely adopted technique in various methods. Since quantization has been extensively utilized in previous works, there is a need for an integrated report that provides an understanding, analysis, and comparison of different quantization approaches. Consequently, we present a comprehensive survey of quantization concepts and methods, with a focus on image classification. We describe clustering-based quantization methods and explore the use of a scale factor parameter for approximating full-precision values. Moreover, we thoroughly review the training of a quantized DNN, including the use of a straight-through estimator and quantization regularization. We explain the replacement of floating-point operations with low-cost bitwise operations in a quantized DNN and the sensitivity of different layers in quantization. Furthermore, we highlight the evaluation metrics for quantization methods and important benchmarks in the image classification task. We also present the accuracy of the state-of-the-art methods on CIFAR-10 and ImageNet.

研究の動機と目的

• 画像分類における深層ニューラルネットワークのモデル量子化技術について、統一的かつ体系的なレビューを提供すること。
• 低精度パラメータ表現のためのクラスタリングベース量子化とスケールファクター近似手法の比較分析を行うこと。
• 精度を維持するための直線的推定子や量子化正則化などのトレーニング戦略を検討すること。
• 量子化が層の感度に与える影響および浮動小数点演算をビット単位の演算に置き換えることの影響を評価すること。
• CIFAR-10やImageNetなどの標準データセット上で最先端の量子化手法をベンチマーク化し、精度と効率性のメトリクスを報告すること。

提案手法

• フル精度重みを低ビット表現にマッピングするためのクラスタリングベース手法とスケールファクターに基づく近似に、量子化手法を分類すること。
• トレーニング中に離散的量子化演算を通過する勾配をバックプロパゲートするために直線的推定子（STE）の使用をレビューすること。
• 低精度ネットワークにおけるトレーニングの安定化と一般化性能の向上を目的とした量子化正則化技術の分析を行うこと。
• 推論パイプラインにおける高コストの浮動小数点演算を低コストのビット単位演算に置き換えることの検討。
• 量子化に対する層ごとの感度を調査し、どの層が精度に特に影響を及ぼすか、またはより耐性があるかを特定すること。
• ImageNetおよびCIFAR-10におけるトップ-1およびトップ-5精度を含む標準ベンチマークを用いて、量子化のパフォーマンスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングベースとスケールファクターに基づく量子化手法は、精度とパラメータ効率性の観点でどのように比較されるか？
• RQ2 直線的推定子は、量子化ネットワークのエンドツーエンドトレーニングを可能にする上で果たす役割は何か？
• RQ3 量子化正則化は、低ビットレートのモデルにおける一般化性能と耐性をどのように向上させるか？
• RQ4 DNNにおけるどの層が量子化に対して最も感受性が強く、それがモデル精度にどのように影響を与えるか？
• RQ5 CIFAR-10およびImageNetベンチマークにおける、最先端の量子化モデルの精度結果は何か？

主な発見

• 本調査では、スケールファクターに基づく量子化が、ほとんどのケースで均一量子化よりも高い精度を達成することが判明した。特に、層ごとまたはチャネルごとのキャリブレーションを適用した場合に顕著である。
• 直線的推定子の使用により、量子化を通過する勾配のバックプロパゲーションが効果的に可能となり、低精度ネットワークのエンドツーエンドトレーニングが可能になった。
• 量子化正則化は、特に4ビット以下のような低ビットレート領域において、収束性と最終的な精度を顕著に向上させる。
• 大きなカーネルサイズを持つ畳み込み層および全結合層は、量子化に対してより感受性が高く、慎重なキャリブレーションやファインチューニングが求められる。
• 最先端の量子化モデルは、8ビット量子化でCIFAR-10で90％以上のトップ-1精度、ImageNetで75％以上のトップ-1精度を達成しており、フル精度性能に近い水準に到達している。
• 4ビットや8ビットの低ビット幅演算の統合により、エッジデバイス上でのメモリ使用量が最大4倍まで削減され、推論速度が2〜3倍に向上した。