[论文解读] Dataset Distillation

Tongzhou Wang, Jun-Yan Zhu+2 more|arXiv (Cornell University)|Nov 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用 21

一句话总结

本文提出数据集提炼（dataset distillation），一种将大规模训练数据集压缩为少量合成图像的方法。当使用固定模型训练时，该方法可实现接近完整数据训练的性能。通过优化合成图像像素以模仿真实数据的泛化行为，该方法仅需10张合成图像和几次梯度更新，即可在固定或随机权重初始化下实现高准确率（例如在MNIST上达到94%）。

ABSTRACT

Model distillation aims to distill the knowledge of a complex model into a simpler one. In this paper, we consider an alternative formulation called dataset distillation: we keep the model fixed and instead attempt to distill the knowledge from a large training dataset into a small one. The idea is to synthesize a small number of data points that do not need to come from the correct data distribution, but will, when given to the learning algorithm as training data, approximate the model trained on the original data. For example, we show that it is possible to compress 60,000 MNIST training images into just 10 synthetic distilled images (one per class) and achieve close to original performance with only a few gradient descent steps, given a fixed network initialization. We evaluate our method in various initialization settings and with different learning objectives. Experiments on multiple datasets show the advantage of our approach compared to alternative methods.

研究动机与目标

• 探究大规模训练数据集的知识是否可被提炼为少量合成数据点。
• 实现快速模型训练——仅使用少量合成图像，即可在几次梯度下降步骤内达到高性能。
• 开发一种在各种初始化设置下均有效的技术，包括固定、随机和预训练权重。
• 在少样本域自适应和数据投毒攻击中展示其应用。
• 通过线性模型分析，探究深度学习中数据压缩的理论极限。

提出的方法

• 将模型权重表述为合成训练数据的可微函数，从而实现对图像像素的端到端优化。
• 优化合成图像的像素值，以最小化在合成数据和完整数据上训练的泛化差距。
• 采用两阶段优化：先在合成数据上训练，再用真实数据微调以提升对齐效果。
• 引入迭代精炼过程，生成用于多轮训练的系列化提炼图像。
• 开发一种无需访问模型确切初始权重即可生成提炼图像的方法，使其适用于随机初始化网络。
• 将框架适配于恶意目标，例如生成数据投毒攻击，使模型在一次梯度更新后错误分类目标类别。

实验结果

研究问题

• RQ1 少量合成图像是否能捕捉大规模真实数据集的泛化能力？
• RQ2 与完整数据集相比，在仅使用少量合成图像训练时，模型性能能保留到何种程度？
• RQ3 在不同模型初始化策略（包括固定、随机和预训练权重）下，数据集提炼的有效性如何？
• RQ4 在SVHN和MNIST等数据集之间，提炼图像是否能实现快速、少样本的域自适应？
• RQ5 该方法是否可用于在极少训练步骤内创建有效的数据投毒攻击？

主要发现

• 在MNIST上，仅用10张提炼图像进行几次梯度更新，测试准确率达到94%，而完整数据集训练为99%。
• 在CIFAR10上，100张提炼图像在固定初始化下达到54%准确率，而完整数据集为80%。
• 在随机初始化下，100张提炼图像在几次梯度更新后达到80%准确率，表明对权重变化具有鲁棒性。
• 在域自适应任务中，100张提炼图像使预训练的SVHN模型能快速微调并在MNIST上实现高准确率，优于少样本自适应基线方法。
• 在数据投毒攻击中，该方法成功在一次梯度更新内导致目标类别的错误分类，在CIFAR10上显著优于基线方法。
• 在PASCAL-VOC和CUB-200上，每类仅用一张提炼图像，准确率分别达到70.75%和38.76%，接近完整微调的性能。