[論文レビュー] Diversifying Sample Generation for Accurate Data-Free Quantization

Xiangguo Zhang, Haotong Qin+7 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Neural Network Applications参考文献 37被引用数 9

ひとこと要約

本稿では、合成データの均質化が引き起こす性能低下を軽減するための新しいデータ生成手法である Diverse Sample Generation (DSG) を提案する。バッチ正規化統計の一致を緩和し、レイヤーワイズのサンプル強化を適用することで、DSG は量子化モデルの精度を顕著に向上させ、W4A4 量子化において最大 22% の精度向上を達成し、実データキャリブレーションおよび先行の最先端手法を上回る性能を示す。

ABSTRACT

Quantization has emerged as one of the most prevalent approaches to compress and accelerate neural networks. Recently, data-free quantization has been widely studied as a practical and promising solution. It synthesizes data for calibrating the quantized model according to the batch normalization (BN) statistics of FP32 ones and significantly relieves the heavy dependency on real training data in traditional quantization methods. Unfortunately, we find that in practice, the synthetic data identically constrained by BN statistics suffers serious homogenization at both distribution level and sample level and further causes a significant performance drop of the quantized model. We propose Diverse Sample Generation (DSG) scheme to mitigate the adverse effects caused by homogenization. Specifically, we slack the alignment of feature statistics in the BN layer to relax the constraint at the distribution level and design a layerwise enhancement to reinforce specific layers for different data samples. Our DSG scheme is versatile and even able to be applied to the state-of-the-art post-training quantization method like AdaRound. We evaluate the DSG scheme on the large-scale image classification task and consistently obtain significant improvements over various network architectures and quantization methods, especially when quantized to lower bits (e.g., up to 22% improvement on W4A4). Moreover, benefiting from the enhanced diversity, models calibrated by synthetic data perform close to those calibrated by real data and even outperform them on W4A4.

研究の動機と目的

• 合成データの分布およびサンプルレベルにおける均質化が引き起こすデータフリー量子化における性能低下を是正すること。
• 実トレーニングデータを一切必要とせずに、生成された合成データの多様性を向上させること。
• AdaRound を含むさまざまなポストトレーニング量子化手法と互換性を持つ汎用的な手法を開発すること。
• 実データを一切使用せず、合成データのみで低ビット幅量子化（例：W4A4）において高い精度を達成すること。
• 多様な合成データが、実データでキャリブレートされたモデルを上回る精度を達成できることを示すこと。

提案手法

• バッチ正規化統計の一致を緩和することで、分布レベルの均質化を低減するためのスラック分布一致（SDA）を導入する。
• 特定のネットワーク層を異なるデータサンプルに対して強化することで、サンプルレベルの均質化を低減するためのレイヤーワイズサンプル強化（LSE）を提案する。
• SDA と LSE を組み込んだ損失関数を最適化することで、サンプル間で多様な特徴分布を実現する合成データを生成する。
• DSG で生成されたデータを、再トレーニングなしで標準的なポストトレーニング量子化パイプラインを用いて量子化モデルのキャリブレーションに適用する。
• 重み量子化に適した高品質で多様な合成データを提供することで、AdaRound などの高度な量子化手法との統合を可能にする。
• 画像の事前知識とラベルガイダンスを DSG と併用することで、サンプルの現実性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データフリー量子化によって生成された合成データは、モデル精度に悪影響を及げる分布レベルの均質化を示すか？
• RQ2 合成データにおけるサンプルレベルの均質化が、量子化モデルの性能を制限するか？
• RQ3 合成データの多様性を向上させることで、モデル精度が向上し、実データキャリブレーションを上回ることすら可能か？
• RQ4 DSG の手法は、さまざまなネットワークアーキテクチャおよび低ビット幅量子化設定において有効か？
• RQ5 AdaRound のような最先端のポストトレーニング量子化手法と、DSG をシームレスに統合できるか？

主な発見

• ResNet-18 の W4A4 量子化において、DSG はトップ-1 精度 34.53% を達成し、ZeroQ より 22.89% 向上し、実データキャリブレーションより 2.67% の向上を示した。
• InceptionV3 における W4A4 量子化では、DSG が 34.89% の精度を達成し、ZeroQ より 22.89% 向上し、実データより 11.66% の向上を示した。
• AdaRound と組み合わせた場合、3 ビット重みを用いた ResNet-18 において DSG はトップ-1 精度 61.32% を達成し、同条件で ZeroQ を 11.43% 上回った。
• DSG は、複数のアーキテクチャ（ResNet-18, ResNet-50, ShuffleNet, SqueezeNet, InceptionV3）および量子化手法（パcentile, EMA, MSE, AdaRound）において一貫して性能を向上させた。
• DSG の性能向上は、超低ビット幅設定において顕著に現れ、低精度量子化におけるデータ多様性の重要性を裏付けた。
• W4A4 における DSG で生成されたデータは、実データでキャリブレートされたモデルを上回る精度を達成し、この領域では多様性がデータ忠実度を上回る優位性を示した。