[论文解读] DREAM: Efficient Dataset Distillation by Representative Matching

Yanqing Liu, Jianyang Gu+4 more|arXiv (Cornell University)|Feb 28, 2023

Advanced Neural Network Applications被引用 6

一句话总结

DREAM 通过仅选择通过聚类识别出的代表性原始图像进行梯度或嵌入匹配，提出了一种高效的代表性匹配策略，显著减少了超过8倍的训练迭代次数，且性能无下降。通过避免从随机采样中引入的噪声和边界样本，该方法提升了优化稳定性和泛化能力。

ABSTRACT

Dataset distillation aims to synthesize small datasets with little information loss from original large-scale ones for reducing storage and training costs. Recent state-of-the-art methods mainly constrain the sample synthesis process by matching synthetic images and the original ones regarding gradients, embedding distributions, or training trajectories. Although there are various matching objectives, currently the strategy for selecting original images is limited to naive random sampling. We argue that random sampling overlooks the evenness of the selected sample distribution, which may result in noisy or biased matching targets. Besides, the sample diversity is also not constrained by random sampling. These factors together lead to optimization instability in the distilling process and degrade the training efficiency. Accordingly, we propose a novel matching strategy named as extbf{D}ataset distillation by extbf{RE}present extbf{A}tive extbf{M}atching (DREAM), where only representative original images are selected for matching. DREAM is able to be easily plugged into popular dataset distillation frameworks and reduce the distilling iterations by more than 8 times without performance drop. Given sufficient training time, DREAM further provides significant improvements and achieves state-of-the-art performances.

研究动机与目标

• 为解决基于优化的数据集蒸馏中因原始图像随机采样导致的效率低下和优化不稳定问题。
• 通过减少对高梯度、边界样本的依赖，提升训练稳定性。
• 在蒸馏过程中提升匹配目标分布的多样性和均匀性。
• 实现蒸馏数据集生成的更快收敛和更优最终性能。
• 提供一种与现有数据集蒸馏框架兼容的即插即用策略。

提出的方法

• 在每个类别内应用聚类，以识别反映底层数据分布的子簇。
• 选择簇中心作为代表性样本用于匹配，确保对类别分布的均匀覆盖。
• 采用相同的基于聚类的策略，从簇中心初始化合成图像，以加速收敛。
• 在现有蒸馏框架中，用代表性图像匹配替代原始图像的随机采样。
• 保持与基于优化的蒸馏中梯度、嵌入或轨迹匹配目标的兼容性。
• 将代表性匹配策略集成到 DeepInversion 等框架或其他基于优化的蒸馏方法中。

实验结果

研究问题

• RQ1 在数据集蒸馏中，随机采样是否因匹配目标分布不均而导致优化不稳定？
• RQ2 通过聚类选择代表性样本，能否提升数据集蒸馏中的训练效率和稳定性？
• RQ3 代表性匹配在不牺牲性能的前提下，能将蒸馏迭代次数减少多少？
• RQ4 代表性匹配如何影响蒸馏生成的合成图像的多样性和质量？
• RQ5 所提出的策略能否在不同蒸馏框架和持续学习场景中实现泛化？

主要发现

• 与随机采样相比，DREAM 将蒸馏迭代次数减少了8倍以上，且在显著更少的步骤下实现了相当的性能。
• 在足够训练时间下，DREAM 在 CIFAR-10 和 CIFAR-100 上达到了最先进性能，超越了先前方法。
• 在 DREAM 下，最终蒸馏图像的分布在特征空间中更加均匀，避免了在分布边缘聚集。
• 可视化结果表明，DREAM 生成的图像相比随机采样基线，展现出更清晰的类别特征和更高的多样性。
• 在持续学习中，DREAM 相较于基线保持了稳定的性能优势，且随着学习类别的增加，性能差距进一步扩大。
• 该方法可轻松集成到现有蒸馏框架中，并在多个基准和设置下一致地提升性能。