[论文解读] Dataset Distillation: A Comprehensive Review

Ruonan Yu, Songhua Liu+1 more|arXiv (Cornell University)|Jan 17, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文全面综述了数据集提炼（DD）技术，该技术通过生成小型合成数据集，使深度学习模型在性能上可与在大规模原始数据集上训练的模型相媲美。文章将现有DD方法分为三类基于优化的流派——性能匹配、参数匹配和分布匹配，并提出统一的算法框架，同时指出了在泛化能力、可扩展性和隐私保护方面面临的关键挑战。

ABSTRACT

Recent success of deep learning is largely attributed to the sheer amount of data used for training deep neural networks.Despite the unprecedented success, the massive data, unfortunately, significantly increases the burden on storage and transmission and further gives rise to a cumbersome model training process. Besides, relying on the raw data for training \emph{per se} yields concerns about privacy and copyright. To alleviate these shortcomings, dataset distillation~(DD), also known as dataset condensation (DC), was introduced and has recently attracted much research attention in the community. Given an original dataset, DD aims to derive a much smaller dataset containing synthetic samples, based on which the trained models yield performance comparable with those trained on the original dataset. In this paper, we give a comprehensive review and summary of recent advances in DD and its application. We first introduce the task formally and propose an overall algorithmic framework followed by all existing DD methods. Next, we provide a systematic taxonomy of current methodologies in this area, and discuss their theoretical interconnections. We also present current challenges in DD through extensive experiments and envision possible directions for future works.

研究动机与目标

• 系统性地调研并分类近期数据集提炼（DD）及其应用的进展。
• 通过统一的算法框架，识别并分析现有DD方法之间的核心方法论差异。
• 评估DD方法在不同数据集和网络架构下的性能、泛化能力和可扩展性。
• 突出在可迁移性、隐私保护以及图像分类以外任务中的适用性方面存在的开放挑战。
• 展望未来在高效学习、持续学习和安全数据生成方面的研究方向。

提出的方法

• 为所有现有DD方法提出统一的算法框架，抽象出关键组件，如合成数据初始化、优化目标和训练流程。
• 基于优化目标将DD方法分为三大类：性能匹配（如DSA）、参数匹配（如DM）和分布匹配（如FRePo）。
• 引入理论分析，揭示三种优化策略之间的内在联系，表明它们通过共享的归纳偏置和优化动力学相互关联。
• 在部分方法中采用两阶段训练范式：首先，优化合成数据以模仿真实数据的行为；其次，使用合成数据训练模型以评估性能。
• 采用基于梯度的优化方法，迭代更新合成样本，最小化模型在合成数据上的预测结果与在真实数据上的预测结果之间的损失。
• 应用架构正则化与归一化技术（如批归一化解耦）以提升合成数据在不同网络架构间的可迁移性。

实验结果

研究问题

• RQ1 在模型性能和泛化能力方面，数据集提炼中不同优化目标——性能匹配、参数匹配和分布匹配——如何比较？
• RQ2 三种主要DD方法流派之间的理论关系和权衡是什么？
• RQ3 合成数据集在不同深度神经网络架构和任务之间具有多大程度的泛化能力？
• RQ4 超参数如合成样本数量（IPC）和训练轮数如何影响DD的性能和可扩展性？
• RQ5 在涉及隐私、安全性和非分类任务的真实场景中应用DD时，面临哪些关键挑战？

主要发现

• 在CIFAR-10数据集上，每类10张图像时，FRePo在ResNet18上达到47.4%的top-1准确率，优于早期方法如DD（33.9%）和DC（43.3%）。
• 在ImageNet-1K数据集上，每类100张图像时，TESLA达到27.9%的top-1准确率，接近在完整数据集上训练的模型性能。
• 针对特定架构优化的合成数据集在其他架构上表现出较差的可迁移性，尤其当训练数据与合成数据紧密耦合时。
• DM和IDC等方法通过将网络与合成数据优化过程解耦，提升了可迁移性，但代价是性能下降或计算量增加。
• 归一化层的选择和训练策略对合成数据在不同架构间的泛化能力具有显著影响。
• 当前DD方法在复杂任务（如语义分割和目标检测）上的泛化能力仍显不足，表明未来工作需针对任务特点进行专门设计。