[论文解读] Model Compression with Generative Adversarial Networks

Ruishan Liu, Nicolò Fusi+1 more|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 6

一句话总结

该论文提出 GAN-MC，一种模型压缩框架，利用生成对抗网络合成高质量训练数据，从而在从大型教师模型蒸馏知识时提升学生模型的准确率。通过将真实数据与 GAN 生成的样本相结合，该方法增强了数据的多样性与判别能力，相较于仅使用真实数据的基线蒸馏方法，实现了更优的压缩性能。

ABSTRACT

More accurate machine learning models often demand more computation and memory at test time, making them difficult to deploy on CPU- or memory-constrained devices. Model compression (also known as distillation) alleviates this burden by training a less expensive student model to mimic the expensive teacher model while maintaining most of the original accuracy. However, when fresh data is unavailable for the compression task, the teacher’s training data is typically reused, leading to suboptimal compression. In this work, we propose to augment the compression dataset with synthetic data from a generative adversarial network (GAN) designed to approximate the training data distribution. Our GAN-assisted model compression (GAN-MC) significantly improves student accuracy for expensive models such as deep neural networks and large random forests on both image and tabular datasets. Building on these results, we propose a comprehensive metric—the Compression Score—to evaluate the quality of synthetic datasets based on their induced model compression performance. The Compression Score captures both data diversity and discriminability, and we illustrate its benefits over the popular Inception Score in the context of image classification.

研究动机与目标

• 解决在缺乏数据增强的情况下重复使用真实训练数据导致的模型压缩性能不佳的问题。
• 通过生成更贴近底层数据分布的合成数据，提升知识蒸馏中学生模型的准确率。
• 开发一个全面的评估指标——压缩评分（Compression Score），用于量化合成数据集在模型压缩任务中的质量。
• 在多种模型架构（深度神经网络与大规模随机森林）和数据类型（图像与表格数据）上，验证 GAN 增强数据的有效性。

提出的方法

• 训练 GAN 以建模教师模型训练数据的分布，生成模仿真实数据模式的合成样本。
• 将训练好的 GAN 生成的合成样本与原始训练数据结合，构建扩展的压缩数据集。
• 使用包含真实与合成数据的联合数据集训练学生模型，以实现从教师模型的知识蒸馏。
• 引入压缩评分作为评估指标，衡量合成数据集在提升学生模型准确率方面的能力。
• 利用压缩评分对比合成数据质量与传统指标（如 Inception Score），突出其在判别能力与多样性方面的优势。
• 优化 GAN 训练过程，确保生成样本在多样性与语义意义方面均具备有效性，以支持高效蒸馏。

实验结果

研究问题

• RQ1 当真实数据有限或被重复使用时，GAN 生成的合成数据是否能提升学生模型在知识蒸馏中的性能？
• RQ2 以压缩评分衡量的合成数据质量，与实际模型压缩性能之间是否存在显著相关性？
• RQ3 在不同模型架构与数据模态下，GAN 增强的数据是否优于仅使用真实数据的标准蒸馏方法？
• RQ4 与 Inception Score 等现有指标相比，压缩评分在评估模型压缩任务中合成数据质量时表现如何？

主要发现

• 与仅使用真实数据的标准蒸馏相比，GAN-MC 在图像与表格数据集上均显著提升了学生模型的准确率。
• 所提出的压缩评分通过同时衡量多样性与判别能力，有效捕捉了数据质量，其在评估合成数据用于压缩任务时优于 Inception Score。
• 通过 GAN 生成的合成数据显著提升了包括深度神经网络与大规模随机森林在内的复杂模型的压缩性能。
• 该方法在无需访问新真实数据的情况下实现了学生模型准确率的可测量提升，适用于资源受限的部署场景。
• 实验表明，压缩评分与实际蒸馏性能具有强相关性，验证了其作为合成数据质量可靠代理指标的有效性。