[论文解读] Dataset Condensation with Distribution Matching

Bo Zhao, Hakan Bilen|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 14

一句话总结

该论文提出了一种快速、高效的数据集压缩方法，通过在多个随机采样的嵌入空间中匹配真实数据与合成数据的特征分布，利用最大均值差异（MMD）来生成高质量的训练图像。与先前方法不同，该方法避免了昂贵的双层优化和二阶梯度计算，在CIFAR-10上实现了45倍的加速，同时在持续学习和神经架构搜索任务中达到或超越了最先进性能。

ABSTRACT

Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for reducing training cost is dataset condensation that aims to replace the original large training set with a significantly smaller learned synthetic set while preserving the original information. While training deep models on the small set of condensed images can be extremely fast, their synthesis remains computationally expensive due to the complex bi-level optimization and second-order derivative computation. In this work, we propose a simple yet effective method that synthesizes condensed images by matching feature distributions of the synthetic and original training images in many sampled embedding spaces. Our method significantly reduces the synthesis cost while achieving comparable or better performance. Thanks to its efficiency, we apply our method to more realistic and larger datasets with sophisticated neural architectures and obtain a significant performance boost. We also show promising practical benefits of our method in continual learning and neural architecture search.

研究动机与目标

• 通过合成一个小而信息丰富的训练集，替代对大规模真实数据集的依赖，从而降低训练深度模型的计算成本。
• 克服核心集选择方法的局限性，后者受限于原始样本中的信息量，并采用贪婪、短视的选择策略。
• 消除数据集压缩中对昂贵的双层优化和二阶梯度计算的需求，从而提升可扩展性和效率。
• 实现合成数据在各类别上的高效、可并行训练，使该方法能够扩展至更大、更复杂的数据集。
• 通过使用压缩后的数据集作为代理数据集，展示其在持续学习和神经架构搜索中的实际应用价值。

提出的方法

• 该方法将数据集压缩问题建模为在一组随机初始化的深度神经网络嵌入空间中，真实数据与合成数据之间的分布匹配问题。
• 利用最大均值差异（MMD）来度量并最小化多个采样嵌入空间中真实与合成特征嵌入之间的分布差异。
• 通过仅使用MMD损失相对于合成图像的一阶梯度，对合成图像进行端到端优化，避免了双层优化和二阶导数的计算。
• 该方法实现了各类别合成数据的独立与并行优化，显著提升了训练效率和可扩展性。
• 通过随机初始化的深度网络采样高效生成嵌入空间，这些网络在优化过程中保持固定，无需微调。

实验结果

研究问题

• RQ1 在不使用双层优化或二阶梯度的情况下，通过在随机嵌入空间中进行分布匹配，能否实现具有竞争力的数据集压缩性能？
• RQ2 在标准基准测试中，该方法在合成速度和泛化性能方面与最先进方法相比如何？
• RQ3 压缩后的合成数据集能否作为有效的代理数据集，用于加速神经架构搜索，并与全量数据集性能保持高度相关性？
• RQ4 在持续学习场景中，该方法在不同数据划分策略下是否保持鲁棒性能？
• RQ5 该方法能否有效扩展至更大、更复杂的数据集，如TinyImageNet和ImageNet-1K？

主要发现

• 在CIFAR-10上生成500张合成图像时，该方法的合成时间比最先进方法快45倍，性能相当或更优。
• 在5和10个类别学习步长的持续学习任务中，该方法（GDumb + DM）分别取得了34.4%和34.6%的准确率，优于DSA（31.7%和30.5%）、聚类法（28.2%和27.4%）以及随机采样（24.8%）。
• 在CIFAR-10上的神经架构搜索中，该方法在代理数据集与全量数据集性能之间实现了0.76的Spearman等级相关系数，显著优于DSA（0.68）和随机方法（-0.04），且仅使用了1%的训练数据。
• 该方法在代理数据集上达到了84.3%的验证准确率，训练时间仅为72分钟，远低于全量数据集训练所需的3580.2分钟。
• 该方法成功扩展至更大规模数据集，在CIFAR-10上每类学习1250张合成图像，并在TinyImageNet和ImageNet-1K上展示了可行性。