[论文解读] Dream Distillation: A Data-Independent Model Compression Framework

Kartikeya Bhardwaj, Naveen Suda+1 more|arXiv (Cornell University)|May 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 30

一句话总结

Dream Distillation 提出了一种与数据无关的模型压缩框架，通过从预训练教师模型的单层特征激活中生成合成训练数据，实现在无需真实或替代数据集的情况下进行知识蒸馏。该方法仅使用合成图像就在 CIFAR-10 上实现了 88.5% 的 top-1 准确率，显著优于先前的无数据方法。

ABSTRACT

Model compression is eminently suited for deploying deep learning on IoT-devices. However, existing model compression techniques rely on access to the original or some alternate dataset. In this paper, we address the model compression problem when no real data is available, e.g., when data is private. To this end, we propose Dream Distillation, a data-independent model compression framework. Our experiments show that Dream Distillation can achieve 88.5% accuracy on the CIFAR-10 test set without actually training on the original data!

研究动机与目标

• 解决在原始或替代训练数据因隐私或监管限制而不可用的场景下的模型压缩挑战。
• 通过生成保留原始数据集关键特征的合成数据，在无数据依赖的设置下实现有效的知识蒸馏。
• 证明仅使用教师网络单一层的元数据即可生成高质量的合成数据以用于蒸馏。
• 在复杂数据集（如 CIFAR-10）上超越现有无数据蒸馏方法，后者通常需要多层元数据或在准确率上表现不佳。

提出的方法

• 使用少量元数据——具体为教师模型单个中间层的平均池化输出——来引导合成图像的生成。
• 对选定层的特征图应用主成分分析（PCA），以提取主导模式并表示为潜在向量。
• 将 PCA 表示的特征聚类为若干组，每组对应一个类别或语义组，并为每个聚类生成一张合成图像。
• 通过最大化教师网络中对应聚类代表性向量的激活值，使用 Adam 优化算法对每张合成图像进行优化。
• 使用生成的合成图像作为输入，通过知识蒸馏训练学生模型，教师模型提供软标签。
• 通过为每个聚类使用多个主成分（例如每聚类 m=50）并优化总共 50,000 张合成图像，确保生成图像的多样性。

实验结果

研究问题

• RQ1 是否可以在不访问任何真实或替代训练数据的情况下有效执行知识蒸馏？
• RQ2 是否能够从单一层的特征表示中生成足够保留语义信息以用于蒸馏的合成数据？
• RQ3 在复杂数据集（如 CIFAR-10）上，无数据依赖蒸馏的性能与标准蒸馏和无数据基线方法相比如何？
• RQ4 仅使用单一层元数据表示与使用多层元数据相比，对蒸馏准确率有何影响？
• RQ5 通过聚类驱动的特征反演生成的合成图像能否将有意义的知识传递给学生模型？

主要发现

• Dream Distillation 在 CIFAR-10 测试集上实现了 88.5% 的 top-1 准确率，且未使用任何真实数据，证明了通过合成数据实现有效知识迁移。
• 该方法显著优于先前最先进的无数据蒸馏框架（DFKD），后者在 MNIST 上仅达到 68–77% 的准确率，且在 CIFAR-10 上表现更差。
• 在 Dream Distillation 生成的合成图像上训练的学生模型准确率可达约 80%，与在 CIFAR-100 作为替代数据集上训练的模型性能相当，比在真实 CIFAR-10 数据上训练的模型低约 10%。
• 使用 Dream Distillation 训练的 WRN40-4 学生模型达到 88.5% 的准确率，而仅在合成数据上训练且无教师模型指导的同一模型准确率仅为 44%，证明了教师模型在知识迁移中的关键作用。
• 基于聚类的图像生成方法能够生成多样化且语义有意义的合成图像（例如，汽车显示车轮，猫显示条纹），即使图像不逼真，也能有效保留类别判别特征。
• 仅使用单一层元数据，Dream Distillation 即可实现高性能，证明多层元数据并非实现有效无数据依赖蒸馏的必要条件。