[論文レビュー] Gradient $\ell_1$ Regularization for Quantization Robustness

Milad Alizadeh, Arash Behboodi+4 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Neural Network Applications参考文献 27被引用数 10

ひとこと要約

この論文では、勾配のℓ₁正則化を提案し、ニューラルネットワークにおける事後学習量子化のロバスト性を向上させる。量子化をℓ∞-有界ノイズとしてモデル化し、勾配のℓ₁ノルムを用いて1次損失摂動を制御する。本手法により、再訓練を必要とせず、複数のビット幅へのリアルタイム量子化が可能となり、低ビット領域においてベースラインおよび量子化に配慮した学習を上回り、フルプレシジョン精度を維持する。

ABSTRACT

We analyze the effect of quantizing weights and activations of neural networks on their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for "on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme on different architectures on CIFAR-10 and ImageNet datasets.

研究の動機と目的

• リソース制約のあるデバイス（モバイルやIoTシステムなど）へのニューラルネットワークのデプロイを解決すること。
• 再訓練やトレーニングデータへのアクセスを必要とせず、事前学習済みモデルの複数のビット幅への事後学習量子化に対するロバスト性を向上させること。
• 複数のビット幅に同時に適用可能な、ℓ∞-有界量子化ノイズに対する1次的ロバスト性を保証する正則化スキームの開発。
• バッテリー残量やメモリ利用可能量などのランタイムリソース制約に基づき、動的にビット幅を変更可能な「オンザフライ」量子化を可能にすること。

提案手法

• 各重みおよび活性化値が固定されたビン幅δ内に摂動される、ℓ∞-有界摂動としてのモデル量子化ノイズを定式化する。
• この摂動下での損失関数の1次テイラー展開を導出し、勾配項が量子化に対する感度の主因であることを特定する。
• ネットワークパラメータに関する勾配のℓ₁ノルムをペナルティ項として提案し、量子化が損失に与える最大影響を最小化する。
• トレーニングパイプラインの変更やストレートスルーエスティメーターの必要なしに、最終トレーニング段階またはファインチューニングステップで正則化を適用する。
• ハイパーパrameter λ を用いてフルプレシジョン精度と量子化ロバスト性のバランスを調整し、グリッドサーチによりFP性能を維持するようにチューニングする。
• 本手法がアーキテクチャ（VGG、ResNet）およびデータセット（CIFAR-10、ImageNet）にわたって一般化され、複数のビット幅にわたる一貫したパフォーマンスを実現することを実証する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を必要とせず、複数のビット幅にわたる事後学習量子化に対してロバストなニューラルネットワークを正則化することは可能か？
• RQ2 量子化をℓ∞-有界ノイズとしてモデル化することで、勾配感度に対する原理的で整合性のある正則化戦略がどのように導かれるか？
• RQ3 既存手法（量子化に配慮した学習や防御的量子化）と比較して、勾配のℓ₁正則化は低ビット領域で優れたパフォーマンスを示せるか？
• RQ4 提案手法により、ランタイムリソース制約に応じた動的ビット幅のオンザフライ量子化が可能になるか？
• RQ5 勾配のℓ₁正則化を適用する際の、フルプレシジョン精度と量子化ロバスト性のトレードオフは何か？

主な発見

• VGGに類似したアーキテクチャを用いたCIFAR-10では、提案されたℓ₁正則化により8ビットで70.07%、4ビットで66.39%のトップ1精度を達成し、ベースラインおよびL2正則化を上回った。
• ResNet-18を用いたImageNetでは、8ビットで69.92%、4ビットで66.39%の精度を達成し、低ビット幅において量子化に配慮した学習と同等またはそれを上回った。
• λ=0.05の場合、CIFAR-10では4ビットで64.02%の精度を達成し、より強い正則化によりフルプレシジョン精度の損失を伴いながらも性能回復が可能であることを示した。
• 防御的量子化（Lin et al., 2019）は、特異値の正則化が厳しすぎたため、ResNet-18ではパフォーマンス向上に失敗したが、本手法はそれを上回った。
• ℓ₂勾配正則化と比較して、ℓ₁正則化が優れたパフォーマンスを示し、最悪ケースにおける勾配影響を制御する理論的優位性を裏付けた。
• 本手法により、再訓練やデータへのアクセスを必要とせず、複数のビット幅にわたる一貫した事後学習量子化が可能となり、変動するリソース制約下での動的デプロイメントを支援する。