[論文レビュー] Diverse Sample Generation: Pushing the Limit of Generative Data-free Quantization

Haotong Qin, Yifu Ding+4 more|arXiv (Cornell University)|Sep 1, 2021

Advanced Neural Network Applications参考文献 56被引用数 6

ひとこと要約

本稿では、生成的データフリー量子化の性能を向上させるために、合成データの多様性を高め、厳密なバッチ正規化（BN）統計の一致によって引き起こされる均質化を軽減する、新しい手法 Diverse Sample Generation（DSG）を提案する。DSG は、さまざまなネットワーク構造およびビット幅において性能を向上させ、とくに超低ビット設定で顕著な向上を示し、MobileNetV2 における W3A3 で ZeroQ よりも 34.33% の精度向上を達成し、最先端の結果を実現する。

ABSTRACT

Generative data-free quantization emerges as a practical compression approach that quantizes deep neural networks to low bit-width without accessing the real data. This approach generates data utilizing batch normalization (BN) statistics of the full-precision networks to quantize the networks. However, it always faces the serious challenges of accuracy degradation in practice. We first give a theoretical analysis that the diversity of synthetic samples is crucial for the data-free quantization, while in existing approaches, the synthetic data completely constrained by BN statistics experimentally exhibit severe homogenization at distribution and sample levels. This paper presents a generic Diverse Sample Generation (DSG) scheme for the generative data-free quantization, to mitigate detrimental homogenization. We first slack the statistics alignment for features in the BN layer to relax the distribution constraint. Then, we strengthen the loss impact of the specific BN layers for different samples and inhibit the correlation among samples in the generation process, to diversify samples from the statistical and spatial perspectives, respectively. Comprehensive experiments show that for large-scale image classification tasks, our DSG can consistently quantization performance on different neural architectures, especially under ultra-low bit-width. And data diversification caused by our DSG brings a general gain to various quantization-aware training and post-training quantization approaches, demonstrating its generality and effectiveness.

研究の動機と目的

• 生成的データフリー量子化における合成データの均質化という深刻な問題に取り組み、モデルの精度を低下させることを防ぐ。
• 理論的および実験的に、実データにアクセスせずに効果的な量子化を実現するには、サンプルの多様性が不可欠であることを示す。
• BN 統計の一致を維持しつつ、合成データ生成における多様性を向上させる汎用的な DSG フレームワークを提案する。
• さまざまなアーキテクチャおよびビット幅において一貫した性能向上を達成し、とくに超低ビット幅領域で顕著な効果を発揮する。
• 従来のデータフリー量子化手法（ポストトレーニングおよび量子化に最適化された学習の両方を含む）と互換性を持たせ、相乗効果を発揮する。

提案手法

• 特徴マップにおける BN 統計の厳密な一致を緩和することで、分布への過適合を低減し、入力空間の多様性を向上させる。
• 個々のサンプルに特化した損失重み付けを導入し、生成過程での各サンプルの影響を強化することで、空間的多様性を向上させる。
• 相関低減機構を適用して、サンプル間の類似度を最小限に抑え、生成データ分布全体の多様性をさらに促進する。
• DSG をプラグインモジュールとして統合することで、既存のデータフリー量子化パイプラインとの互換性を維持する。
• ラベルプライアーや画像プライアーテクニックを追加で活用することで、さらに性能を向上させる。
• BN 統計と多様性促進目的に基づいた反復的フィードバックにより、合成データ生成を最適化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の生成的データフリー量子化手法は、合成データの均質化によって性能が低下するのか？
• RQ2 実データにアクセスできない状況下で、合成データの多様性を理論的および実践的にどのように向上できるか？
• RQ3 向上したデータ多様性が、さまざまなネットワークアーキテクチャおよびビット幅において、どの程度量子化精度を向上させるのか？
• RQ4 提案された DSG フレームワークは、ポストトレーニングおよび量子化に最適化された学習の両設定に普遍的に適用可能か？
• RQ5 超低ビット幅制約下で、DSG は最先端のデータフリー量子化手法と比較してどの程度優れているか？

主な発見

• DSG は、活性化分布および主成分分析（PCA）の可視化により、分布的およびサンプルレベルの合成データの均質化を顕著に低減していることが確認された。
• ResNet18 と ImageNet を用いた W4A4 環境下で、DSG は ZeroQ よりもトップ-1 精度を 6.46% 向上させ、超低ビット幅領域での顕著な向上を示した。
• MobileNetV2 における W3A3 環境下で、DSG は ZeroQ よりも 34.33% の精度向上を達成し、極めて低ビットな状況下での有効性を示した。
• ラベルプライアーや画像プライアーテクニックと組み合わせることで、ResNet18 における W5A32 環境下でトップ-1 精度 69.16% を達成し、実データ性能（69.21%）に近づいた。
• AdaRound を含む複数の量子化手法においても、DSG は一貫した性能向上を示し、汎用性および互換性の高さを実証した。
• 重みと活性化をともに 8 ビットに量子化する状況でも、DSG は ZeroQ よりも ResNet18 で 6.06% の精度向上を達成し、優れた性能を維持した。