[论文解读] Generative Zero-shot Network Quantization

Xiangyu He, Qinghao Hu+2 more|arXiv (Cornell University)|Jan 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 65被引用 5

一句话总结

本文提出生成式零样本网络量化（GZNQ），一种通过批量归一化统计量生成高保真合成图像的方法，以在无真实训练数据的情况下校准量化神经网络。通过将图像生成建模为匹配批量归一化统计量的生成模型，GZNQ在CIFAR-10/100和ImageNet上的无数据4-bit量化任务中达到最先进性能。

ABSTRACT

Convolutional neural networks are able to learn realistic image priors from numerous training samples in low-level image generation and restoration. We show that, for high-level image recognition tasks, we can further reconstruct "realistic" images of each category by leveraging intrinsic Batch Normalization (BN) statistics without any training data. Inspired by the popular VAE/GAN methods, we regard the zero-shot optimization process of synthetic images as generative modeling to match the distribution of BN statistics. The generated images serve as a calibration set for the following zero-shot network quantizations. Our method meets the needs for quantizing models based on sensitive information, extit{e.g.,} due to privacy concerns, no data is available. Extensive experiments on benchmark datasets show that, with the help of generated data, our approach consistently outperforms existing data-free quantization methods.

研究动机与目标

• 解决因隐私或安全限制而无法获取原始训练数据时的模型量化挑战。
• 通过在无真实图像访问的情况下生成逼真校准数据，提升零样本量化性能。
• 为无数据量化中现有批量归一化匹配损失提供生成建模的解释视角。
• 利用匹配真实数据分布的合成图像，实现低比特量化下的高质量激活校准。

提出的方法

• 利用预训练网络的批量归一化（BN）统计量（均值μ和方差σ²）作为图像生成的目标分布。
• 将图像生成过程建模为生成建模任务，以匹配各层BN统计量的分布。
• 采用基于噪声的优化过程并结合数据增强，从μ和σ²分布中采样，将生成的图像视为模型参数。
• 引入先验正则化项以约束参数空间，提升优化过程中的采样稳定性。
• 从优化后的图像中生成合成校准集，用于校准量化网络的激活。
• 在保持全精度批量归一化和偏置项的前提下，应用标准量化方案（如MSE量化器）。

实验结果

研究问题

• RQ1 我们能否在缺乏真实数据的情况下，生成能有效校准量化网络的高保真合成图像？
• RQ2 与启发式优化方法相比，对BN统计量进行生成建模如何提升零样本量化性能？
• RQ3 为何BN统计量能作为无数据图像生成与校准的有效先验？
• RQ4 在低比特设置下，生成图像的质量在多大程度上与量化准确率相关？
• RQ5 所提方法能否为现有无数据量化损失提供更具可解释性和理论基础的替代方案？

主要发现

• GZNQ在4-bit CIFAR-10/100和ImageNet基准上持续优于现有无数据量化方法。
• 该方法在4-bit量化ResNet-34和ResNet-50模型上达到最先进准确率，显著优于ZeroQ、Knowledge Within和Deep Inversion。
• GZNQ生成的图像在视觉保真度和真实感方面优于基线方法，经定性比较和Inception Score（IS）指标验证。
• GZNQ生成图像的Inception Score超过先前方法，表明其图像质量更高且多样性更优。
• 该方法在大规模ImageNet上表现出鲁棒性，仅需每类100张合成图像即可维持高性能。
• 将BN统计量作为生成目标，为零样本量化中现有优化损失提供了理论清晰的解释。