[论文解读] DiM: Distilling Dataset into Generative Model

Kai Wang, Jianyang Gu+4 more|arXiv (Cornell University)|Mar 8, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出 DiM，一种新颖的数据集蒸馏框架，将大规模训练数据集的知识蒸馏到条件生成模型中，而非合成图像。通过在模型池中最小化真实图像与生成图像之间的logits差异，DiM 实现了即时样本生成，在各类架构和蒸馏比例下均达到最先进性能，且重部署成本比先前方法降低13×–160×。

ABSTRACT

Dataset distillation reduces the network training cost by synthesizing small and informative datasets from large-scale ones. Despite the success of the recent dataset distillation algorithms, three drawbacks still limit their wider application: i). the synthetic images perform poorly on large architectures; ii). they need to be re-optimized when the distillation ratio changes; iii). the limited diversity restricts the performance when the distillation ratio is large. In this paper, we propose a novel distillation scheme to extbf{D}istill information of large train sets extbf{i}nto generative extbf{M}odels, named DiM. Specifically, DiM learns to use a generative model to store the information of the target dataset. During the distillation phase, we minimize the differences in logits predicted by a models pool between real and generated images. At the deployment stage, the generative model synthesizes various training samples from random noises on the fly. Due to the simple yet effective designs, the trained DiM can be directly applied to different distillation ratios and large architectures without extra cost. We validate the proposed DiM across 4 datasets and achieve state-of-the-art results on all of them. To the best of our knowledge, we are the first to achieve higher accuracy on complex architectures than simple ones, such as 75.1\% with ResNet-18 and 72.6\% with ConvNet-3 on ten images per class of CIFAR-10. Besides, DiM outperforms previous methods with 10\% $\sim$ 22\% when images per class are 1 and 10 on the SVHN dataset.

研究动机与目标

• 解决现有数据集蒸馏方法在ResNet和DenseNet等大模型架构上的可扩展性差的问题。
• 克服先前方法在每次更换蒸馏比例（如每类图像数）时需重新训练的低效问题。
• 通过利用生成模型，提升蒸馏数据的多样性与性能，尤其在高蒸馏比例下。
• 实现单一、可复用的模型，无需重新训练即可在多种架构和蒸馏比例下部署。
• 通过将知识存储在生成模型中而非固定合成图像中，提升跨架构泛化能力。

提出的方法

• 训练一个条件生成模型，从随机噪声中合成训练图像，利用模型池提供多样化的监督信号。
• 在每个训练周期中，从池中随机采样一个模型，最小化真实图像与生成图像预测logits之间的L2差异。
• 对所有蒸馏比例和架构使用固定的生成模型，避免在更改IPC或模型架构时重新训练。
• 将每类图像数（INPC）定义为评估指标，以确保与DiI方法的公平比较。
• 利用多样化的模型池（如C-3、R-10、R-18等）在蒸馏过程中提供多层级监督。
• 在部署期间即时生成训练样本，计算开销可忽略不计（每批次2–80ms）。

实验结果

研究问题

• RQ1 生成模型是否能比合成图像更高效地存储并重现来自大规模数据集的判别性知识？
• RQ2 与将知识蒸馏到图像（DiI）相比，将知识蒸馏到模型（DiM）是否能在大模型架构上带来性能提升？
• RQ3 DiM是否可在不重新训练的情况下跨不同蒸馏比例和模型架构复用？
• RQ4 DiM在下游分类任务中与基于GAN的数据生成方法相比表现如何？
• RQ5 与标准训练相比，DiM中即时图像生成的计算成本是多少？

主要发现

• 在使用ResNet-18、每类10张图像的设置下，DiM在CIFAR-10上达到75.1%的准确率，优于相同设置下的ConvNet-3（72.6%），证明其在大模型上的优越可扩展性。
• 在SVHN数据集上，DiM在每类1张和10张图像时分别比先前方法提升10%–22%的准确率。
• 与最先进DiI方法（如MTT和IDC）相比，DiM将重部署GPU小时数降低了13×至160×。
• 当INPC = 50时，DiM在CIFAR-10上使用ConvNet-3和ResNet-18分别达到72.6%和74.1%的准确率，较基于GAN的基线模型最高提升5%。
• DiM中图像生成的计算成本极低——每批次仅2–80ms，占总训练时间的2%至20%，在实际应用中可忽略不计。
• DiM展现出强大的跨架构泛化能力：性能随INPC增加而提升，并能有效扩展至DenseNet-121和ResNet-50等复杂模型。