[论文解读] IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization

Yunshan Zhong, Mingbao Lin+5 more|arXiv (Cornell University)|Nov 17, 2021

Advanced Neural Network Applications参考文献 39被引用 4

一句话总结

IntraQ 提出了一种新颖的零样本量化方法，通过保留类内异质性（包括多样化的物体尺度与位置、类别感知的特征分布以及软标签先验）来提升合成图像质量。通过整合局部物体增强、边缘距离约束和软 Inception 损失，IntraQ 在将 MobileNetV1 量化至 4 位时，相较于当前最先进方法在 ImageNet 上实现了 9.17% 的 top-1 准确率提升。

ABSTRACT

Learning to synthesize data has emerged as a promising direction in zero-shot quantization (ZSQ), which represents neural networks by low-bit integer without accessing any of the real data. In this paper, we observe an interesting phenomenon of intra-class heterogeneity in real data and show that existing methods fail to retain this property in their synthetic images, which causes a limited performance increase. To address this issue, we propose a novel zero-shot quantization method referred to as IntraQ. First, we propose a local object reinforcement that locates the target objects at different scales and positions of the synthetic images. Second, we introduce a marginal distance constraint to form class-related features distributed in a coarse area. Lastly, we devise a soft inception loss which injects a soft prior label to prevent the synthetic images from being overfitting to a fixed object. Our IntraQ is demonstrated to well retain the intra-class heterogeneity in the synthetic images and also observed to perform state-of-the-art. For example, compared to the advanced ZSQ, our IntraQ obtains 9.17\% increase of the top-1 accuracy on ImageNet when all layers of MobileNetV1 are quantized to 4-bit. Code is at https://github.com/zysxmu/IntraQ.

研究动机与目标

• 解决由于合成图像缺乏类内多样性而导致的零样本量化（ZSQ）性能差距问题。
• 识别出现有 ZSQ 方法在合成数据中未能保留类内异质性，从而导致模型性能欠佳。
• 开发一种数据合成策略，显式建模同一类别内物体尺度与位置的变化，以提升特征多样性。
• 引入一种边缘距离约束，防止特征聚集，保持潜在空间中类级别的特征分布。
• 提出一种结合先验标签注入的软 Inception 损失，以生成更复杂、更逼真的场景，同时避免对单一物体的过拟合。

提出的方法

• 应用局部物体增强，将目标物体以不同尺度和空间位置放置于合成图像中，提升类内差异性。
• 引入一种边缘距离约束，强制同一类别的特征嵌入分布在粗粒度区域内，避免特征集中。
• 设计一种软 Inception 损失，利用软标签作为先验知识引导图像生成，促进场景构图的多样性。
• 在统一的优化框架中整合三种组件——局部物体增强、边缘距离约束和软 Inception 损失，用于合成图像生成。
• 使用生成的合成图像对量化网络进行微调，而无需访问真实训练数据，从而实现零样本量化。
• 利用预训练的全精度模型和批量归一化统计信息引导优化过程，确保与现有量化流水线的兼容性。

(a) Real data

实验结果

研究问题

• RQ1 为何现有零样本量化方法在使用合成数据的情况下仍表现不佳？
• RQ2 真实数据中的类内异质性在多大程度上影响量化模型的性能？
• RQ3 在合成图像中显式建模物体尺度与位置变化是否能提升零样本量化准确率？
• RQ4 通过边缘距离约束强制特征在粗粒度区域内分布，对模型泛化能力有何影响？
• RQ5 在图像生成中使用软标签先验是否相比硬标签方法能生成更多样化且更逼真的合成图像？

主要发现

• 在将 MobileNetV1 量化至 4 位的 ImageNet 上，IntraQ 相较于先进的 DSG+IL 方法实现了 9.17% 的 top-1 准确率提升。
• 消融实验表明，将局部物体增强、边缘距离约束和软 Inception 损失三者结合，可在 4 位 ResNet-18 上实现最高 66.47% 的准确率。
• 仅使用局部物体增强即可将准确率从基线方法 ZeroQ+IL 的 63.38% 提升至 66.14%，证明其在提升类内多样性方面的显著影响。
• 边缘距离约束有效防止了特征聚集，使潜在空间中的特征分布更分散且更具类别判别性。
• 通过 t-SNE 的特征可视化证实，IntraQ 生成的图像保留了类内异质性，特征均匀分布在粗粒度区域内，而 ZeroQ 和 DSG 中则呈现出密集的聚类。
• IntraQ 在多种位宽设置下均优于当前最先进 ZSQ 方法，尤其在 4 位等超低精度场景中表现更优。

(b) ZeroQ