[論文レビュー] Generative Zero-shot Network Quantization

Xiangyu He, Qinghao Hu+2 more|arXiv (Cornell University)|Jan 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 65被引用数 5

ひとこと要約

本稿では、実際の訓練データが利用できない状況下で、バッチ正則化（Batch Normalization）の統計量を用いて高精細な合成画像を生成し、量子化されたニューラルネットワークのキャリブレーションを実施する、生成的ゼロショットネットワーク量子化（GZNQ）を提案する。画像生成をBN統計量に一致させる生成的モデリングとして定式化することで、CIFAR-10/100およびImageNetにおけるデータフリー4ビット量子化で最先端の性能を達成した。

ABSTRACT

Convolutional neural networks are able to learn realistic image priors from numerous training samples in low-level image generation and restoration. We show that, for high-level image recognition tasks, we can further reconstruct "realistic" images of each category by leveraging intrinsic Batch Normalization (BN) statistics without any training data. Inspired by the popular VAE/GAN methods, we regard the zero-shot optimization process of synthetic images as generative modeling to match the distribution of BN statistics. The generated images serve as a calibration set for the following zero-shot network quantizations. Our method meets the needs for quantizing models based on sensitive information, extit{e.g.,} due to privacy concerns, no data is available. Extensive experiments on benchmark datasets show that, with the help of generated data, our approach consistently outperforms existing data-free quantization methods.

研究の動機と目的

• プライバシーまたはセキュリティ上の制約により元の訓練データが入手できない状況におけるモデル量子化の課題に対処すること。
• 実際の画像にアクセスできない状況でも、現実的なキャリブレーションデータを生成することでゼロショット量子化の性能を向上させること。
• データフリー量子化で用いられる既存のバッチ正則化統計量マッチング損失の生成的モデリング的解釈を提供すること。
• 実データの分布に一致する合成画像を用いて、低ビット量子化における高品質な活性化キャリブレーションを可能にすること。

提案手法

• 事前学習済みネットワークのバッチ正則化（BN）統計量（平均μおよび分散σ²）を、画像生成のターゲット分布として活用する。
• 画像生成プロセスを、層間のBN統計量の分布に一致させる生成的モデリングタスクとして定式化する。
• データオーグメンテーションを組み合わせたノイズベースの最適化プロセスを用い、μおよびσ²の分布からサンプリングする。合成画像をモデルパラメータとして扱う。
• パラメータ空間を制約し、最適化中のサンプリング安定性を向上させるための事前分布正則化項を導入する。
• 最適化された画像から合成キャリブレーションデータセットを生成し、量子化済みネットワークの活性化をキャリブレートする。
• 完全精度のバッチ正則化およびバイアス項を保持したまま、標準的な量子化スキーム（例：MSE量子化器）を適用する。

実験結果

リサーチクエスチョン

• RQ1 実際のデータが存在しない状況でも、量子化済みネットワークを効果的にキャリブレートできる高精細な合成画像を生成することは可能か？
• RQ2 BN統計量の生成的モデリングは、ヒューリスティックな最適化手法と比較して、ゼロショット量子化性能をどのように向上させるか？
• RQ3 なぜBN統計量が、データフリー画像生成およびキャリブレーションにおいて効果的な事前分布として機能するのか？
• RQ4 生成画像の品質と低ビット設定における量子化精度の相関関係はどの程度強いのか？
• RQ5 提案手法は、既存のデータフリー量子化損失のより解釈可能で原理的である代替手段を提供できるか？

主な発見

• GZNQは、4ビットCIFAR-10/100およびImageNetベンチマークにおいて、既存のデータフリー量子化手法を一貫して上回る性能を発揮した。
• 4ビット量子化されたResNet-34およびResNet-50モデルにおいて、ZeroQ、Knowledge Within、Deep Inversionと比較して顕著な性能向上を達成した。
• 視覚的比較およびInception Score（IS）指標による評価で、GZNQが生成する画像は、ベースラインと比較して高い視覚的精細度とリアリズムを示した。
• GZNQが生成する画像のInception Scoreは、先行手法を上回り、画像品質および多様性の向上を示している。
• 1クラスあたり100枚の合成画像のみで、大規模なImageNetデータセットに対しても高い性能を維持するという、ロバスト性を示した。
• BN統計量を生成的ターゲットとして用いることで、ゼロショット量子化における既存の最適化損失の原理的解釈が可能になった。