[論文レビュー] Quantization-Aware Regularizers for Deep Neural Networks Compression

Dario Malchiodi, Mattia Ferraretto+1 more|arXiv (Cornell University)|Feb 3, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

本論文は、訓練中に重みをクラスタ化させ、量子化代表値を共同学習する層ごとの量子化対応正則化を導入し、わずかな精度低下で圧縮性能を向上させる。

ABSTRACT

Deep Neural Networks reached state-of-the-art performance across numerous domains, but this progress has come at the cost of increasingly large and over-parameterized models, posing serious challenges for deployment on resource-constrained devices. As a result, model compression has become essential, and -- among compression techniques -- weight quantization is largely used and particularly effective, yet it typically introduces a non-negligible accuracy drop. However, it is usually applied to already trained models, without influencing how the parameter space is explored during the learning phase. In contrast, we introduce per-layer regularization terms that drive weights to naturally form clusters during training, integrating quantization awareness directly into the optimization process. This reduces the accuracy loss typically associated with quantization methods while preserving their compression potential. Furthermore, in our framework quantization representatives become network parameters, marking, to the best of our knowledge, the first approach to embed quantization parameters directly into the backpropagation procedure. Experiments on CIFAR-10 with AlexNet and VGG16 models confirm the effectiveness of the proposed strategy.

研究の動機と目的

• 大規模DNNを重み量子化で圧縮する際に、重大な精度低下を生じさせずに解決する動機づけと課題の提示。
• 訓練中に量子化に適した重み分布を誘導する正則化項の導入。
• 静的および動的（学習可能）量子化対応正則化を提案し、バックプロパゲーションへ量子化パラメータを組み込む。
• CIFAR-10でAlexNetおよびVGG16を用いて、事前・事後のチューニング効果を示す。

提案手法

• 標準損失に量子化対応正則化を加える訓練目的を定義する。
• 2つの静的正則化項R_SとR_C（サイン/コサインの周期的盆地に基づく）と、学習可能な盆地uを持つ2つの動的正則化項R_MとR_Eの4つの正則化ファミリーを提供する。
• 訓練中に追加パラメータとして学習可能な量子化レベルuを導入する。
• 正則化をその後の重み共有や圧縮時の量子化と統合できるようにする。
• 量子化代表値がネットワークパラメータと jointly 学習され、バックプロパゲーションへ量子化を組み込めることを示す。

実験結果

リサーチクエスチョン

• RQ1 量子化対応正則化は後に量子化対象と一致する重み盆地を作り出せるか。
• RQ2 静的対比動的（学習可能）ベースラインが量子化の親和性と精度に与える影響はどうか。
• RQ3 AlexNetおよびVGG16のCIFAR-10における量子化レベル(K)の異なる場合で、量子化対応正則化が事前・事後のチューニング精度に与える影響は。
• RQ4 学習可能な量子化レベルは、固定ベースラインと比較して層・アーキテクチャ全体で性能を向上させるか。

主な発見

• 提案正則化を用いた事前チューニング時の精度は、ベースラインより大幅に高く、AlexNetで最大3倍、VGG16で最大6倍になる。
• 動的正則化項（R_M, R_E）は、特にVGG16のような大規模モデルで静的正則化項より一般に良い結果をもたらす。
• 静的正則化の中では、R_Mと組み合わせない場合にR_Eがしばしば高い精度を達成する。
• 事後チューニングでは、特にK=8の積極的な量子化で動的正則化の効果が顕著。
• 量子化代表値が訓練可能となり、バックプロパゲーションを通じて損失面に適応する。
• CIFAR-10のAlexNetおよびVGG16の実験は、アプローチが量子化の親和性を高め、クラスタリング後も精度を維持することを示す。