[論文レビュー] Sharpness-aware Quantization for Deep Neural Networks

Jing Liu, Jianfei Cai+1 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 61被引用数 8

ひとこと要約

本稿では、量子化ノイズと敵対的摂動を統一的な形式で定式化することで、量子化と損失関数の平坦化を同時に最適化する新規手法、Sharpness-Aware Quantization (SAQ) を提案する。SAQ は、低ビット量子化モデルにおける汎化性能を向上させ、特に ImageNet において 4-bit ViT-B/16 で Top-1 精度が 1.2% 向上し、4-bit ResNet-50 で 0.9% 向上するなど、最先端の性能を達成している。一方で、AdamW と同等の訓練効率を維持している。

ABSTRACT

Network quantization is a dominant paradigm of model compression. However, the abrupt changes in quantized weights during training often lead to severe loss fluctuations and result in a sharp loss landscape, making the gradients unstable and thus degrading the performance. Recently, Sharpness-Aware Minimization (SAM) has been proposed to smooth the loss landscape and improve the generalization performance of the models. Nevertheless, directly applying SAM to the quantized models can lead to perturbation mismatch or diminishment issues, resulting in suboptimal performance. In this paper, we propose a novel method, dubbed Sharpness-Aware Quantization (SAQ), to explore the effect of SAM in model compression, particularly quantization for the first time. Specifically, we first provide a unified view of quantization and SAM by treating them as introducing quantization noises and adversarial perturbations to the model weights, respectively. According to whether the noise and perturbation terms depend on each other, SAQ can be formulated into three cases, which are analyzed and compared comprehensively. Furthermore, by introducing an efficient training strategy, SAQ only incurs a little additional training overhead compared with the default optimizer (e.g., SGD or AdamW). Extensive experiments on both convolutional neural networks and Transformers across various datasets (i.e., ImageNet, CIFAR-10/100, Oxford Flowers-102, Oxford-IIIT Pets) show that SAQ improves the generalization performance of the quantized models, yielding the SOTA results in uniform quantization. For example, on ImageNet, SAQ outperforms AdamW by 1.2% on the Top-1 accuracy for 4-bit ViT-B/16. Our 4-bit ResNet-50 surpasses the previous SOTA method by 0.9% on the Top-1 accuracy.

研究の動機と目的

• 離散的な重み更新によって引き起こされる鋭い損失関数の形状が原因で生じる低精度量子化モデルの不安定性と性能低下を是正すること。
• モデル圧縮分野で未解決であった、Sharpness-Aware Minimization (SAM) とネットワーク量子化の統合を検討すること。
• 量子化と敵対的摂動をモデル重み上のノイズ源として同一視する統一フレームワークを構築し、それらの相互作用を体系的に分析すること。
• 追加計算コストを最小限に抑えつつ、量子化環境下でも SAM の利点を活かせる効率的な訓練戦略を設計すること。
• さまざまなアーキテクチャ（CNN と Transformers）およびデータセットを対象に、標準的および転移学習設定において、一貫した性能向上を実証すること。

提案手法

• 量子化と SAM がそれぞれモデル重みに量子化ノイズと敵対的摂動をもたらすとみなすことにより、それらの相互作用を統一的に扱えるように定式化する。
• 量子化ノイズと敵対的摂動の依存関係に基づき、3 種類の SAQ のケース（独立、依存、ハイブリッド）を定義し、理論的・実験的比較を実施する。
• 勾配情報を再利用することで、敵対的摂動の計算にかかる計算コストを低減する効率的な訓練戦略を導入し、SGD や AdamW と同等の訓練速度を達成する。
• 重みの量子化と摂動に基づく鋭さ最小化を同時に最適化するエンドツーエンドの訓練プロセスに SAQ を適用する。
• 2段階の最適化ループを採用する：まず、半径内での損失を最大化する摂動を計算し、次に摂動付き損失を最小化するように重みを更新する。このプロセスは量子化された重み空間に適応されている。
• 標準的な最適化手法（例：AdamW）を用いて実装し、複数のベンチマークで畳み込みネットワークおよびビジョン Transformer に適用する。

実験結果

リサーチクエスチョン

• RQ1 Sharpness-Aware Minimization (SAM) を量子化されたニューラルネットワークに効果的に適用可能か。また、量子化と敵対的摂動の相互作用によって生じる課題は何か。
• RQ2 量子化ノイズと敵対的摂動の依存関係が、量子化モデルの汎化性能にどのように影響するか。
• RQ3 SAQ の最適な定式化は何か。すなわち、3 つの導出ケース（独立、依存、ハイブリッド）の中で、性能と訓練効率のバランスが最も良いのはどれか。
• RQ4 SAQ は、最小限の追加訓練コストで均一量子化において最先端の性能を達成可能か。
• RQ5 損失関数の平坦化と量子化を同時に最適化することは、SAM を全精度モデルに適用してから量子化する逐次的手法（SAM → SGD）と比較して、より優れた汎化性能および転移学習性能を達成できるか。

主な発見

• ImageNet において、4-bit ViT-B/16 では AdamW よりも Top-1 精度が 1.2% 向上し、均一量子化における最先端の性能を示した。
• 4-bit ResNet-50 では、前回の最先端手法を 0.9% の Top-1 精度向上で上回り、畳み込みアーキテクチャへの有効性を確認した。
• 転移学習において、SAQ は Oxford-IIIT Pets で SGD で訓練された量子化モデルと比較して Top-1 精度を 1.0% 向上し、CIFAR-100 では 0.7% 向上した。
• 効率的な訓練戦略により、SAQ の訓練時間は SGD の 11% 以内に抑えられ、大規模モデルへのスケーラビリティを確保した。
• 2-bit ResNet-18 において、全精度モデルに SAM を適用してから量子化する逐次的手法（SAM → SGD）よりも Top-1 精度で 0.4% 向上し、共同最適化の利点を実証した。
• 包括的なアブレーション実験の結果、摂動が量子化ノイズに依存するハイブリッドケースが最も優れた性能を示し、両者の相互作用をモデル化することが重要であることが明らかになった。