[论文解读] A Comprehensive Survey of Dataset Distillation

Shiye Lei, Dacheng Tao|arXiv (Cornell University)|Jan 13, 2023

Machine Learning and Data Classification参考文献 106被引用 4

一句话总结

本综述全面概述了数据集提炼（DD）技术，该技术从大规模真实数据集中合成小型、高信息量的数据集，以加速深度学习训练。它将DD方法分为元学习和数据匹配两大框架，分析了基于潜在码的分解方法，并评估了性能、应用及挑战，如跨架构可迁移性、隐私保护和鲁棒性问题。

ABSTRACT

Deep learning technology has developed unprecedentedly in the last decade and has become the primary choice in many application domains. This progress is mainly attributed to a systematic collaboration in which rapidly growing computing resources encourage advanced algorithms to deal with massive data. However, it has gradually become challenging to handle the unlimited growth of data with limited computing power. To this end, diverse approaches are proposed to improve data processing efficiency. Dataset distillation, a dataset reduction method, addresses this problem by synthesizing a small typical dataset from substantial data and has attracted much attention from the deep learning community. Existing dataset distillation methods can be taxonomized into meta-learning and data matching frameworks according to whether they explicitly mimic the performance of target data. Although dataset distillation has shown surprising performance in compressing datasets, there are still several limitations such as distilling high-resolution data or data with complex label spaces. This paper provides a holistic understanding of dataset distillation from multiple aspects, including distillation frameworks and algorithms, factorized dataset distillation, performance comparison, and applications. Finally, we discuss challenges and promising directions to further promote future studies on dataset distillation.

研究动机与目标

• 提供对数据集提炼（DD）在框架、算法和应用方面系统且全面的理解。
• 分析现有DD方法的局限性，包括较差的跨架构泛化能力、隐私风险以及对对抗性攻击的脆弱性。
• 探索利用潜在码和解码器的分解式DD方法，以提升压缩比和性能。
• 评估提炼数据集中效率、泛化能力和鲁棒性之间的权衡。
• 识别高效、私密且鲁棒的数据集提炼中的开放挑战与未来研究方向。

提出的方法

• 将DD方法主要分为两类框架：元学习（通过模型风险的嵌套优化来优化合成数据）和数据匹配（匹配真实数据的梯度、轨迹或分布）。
• 回顾基于分解的DD技术，即将合成数据生成分解为潜在码和解码器，以实现更高的压缩率和更优性能。
• 分析优化策略，如时间反向传播、核岭回归和基于GAN的生成器，用于生成合成数据。
• 使用测试准确率、泛化差距以及在不同架构间的可迁移性等指标评估性能。
• 考察隐私保护机制，包括差分隐私和梯度噪声注入，以保护提炼数据集中的敏感信息。
• 通过提炼对抗性样本和伪异常值来增强鲁棒性，以实现分布外（OoD）检测。

实验结果

研究问题

• RQ1 元学习与数据匹配框架在优化目标和数据集提炼中的性能表现上有哪些差异？
• RQ2 与直接在像素空间进行优化相比，使用潜在码的分解式DD在压缩比和泛化能力方面能提升多少？
• RQ3 为何提炼数据在不同神经网络架构间表现出较差的可迁移性？如何缓解这一问题？
• RQ4 数据集提炼中的隐私风险是什么？差分隐私如何有效集成到提炼流程中？
• RQ5 如何利用数据集提炼来提升模型对对抗性攻击和分布外输入的鲁棒性？

主要发现

• 使用潜在码和解码器的分解式DD能显著提升泛化能力和压缩比，因其能更有效地捕捉类内差异，优于像素空间优化。
• 在像素空间直接优化会导致因过度拟合于提炼过程中所用的具体架构而造成较差的跨架构可迁移性。
• 通过潜在码优化（如使用预训练GAN）对提炼过程进行正则化，可生成更具真实感的合成数据，从而提升跨架构性能。
• 当与DP-SGD和梯度匹配结合时，私有化数据集提炼可在隐私-准确率权衡上实现更优表现，但理论主张需谨慎验证。
• DD可有效提炼对抗性样本和伪异常值，使下游模型在无需完整对抗性训练的情况下实现更强的鲁棒性和OoD检测能力。
• 在合成数据上训练的模型常表现出过度自信和校准性差的问题，可通过在提炼过程中对合成数据进行掩码处理来保留语义完整性，从而缓解该问题。