[论文解读] Dataset Condensation with Contrastive Signals

Saehyung Lee, Sanghyuk Chun+3 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出对比信号数据集浓缩（DCC），一种新方法，通过修改梯度匹配损失以捕捉类间对比信号，改进数据集浓缩，解决了现有方法在细粒度分类任务中的失败问题。DCC在CIFAR-10、CIFAR-100和SVHN上均优于最先进的基线方法（如DC和DSA），尤其在低样本设置下表现更优，并在持续学习中展现出强适用性。

ABSTRACT

Recent studies have demonstrated that gradient matching-based dataset synthesis, or dataset condensation (DC), methods can achieve state-of-the-art performance when applied to data-efficient learning tasks. However, in this study, we prove that the existing DC methods can perform worse than the random selection method when task-irrelevant information forms a significant part of the training dataset. We attribute this to the lack of participation of the contrastive signals between the classes resulting from the class-wise gradient matching strategy. To address this problem, we propose Dataset Condensation with Contrastive signals (DCC) by modifying the loss function to enable the DC methods to effectively capture the differences between classes. In addition, we analyze the new loss function in terms of training dynamics by tracking the kernel velocity. Furthermore, we introduce a bi-level warm-up strategy to stabilize the optimization. Our experimental results indicate that while the existing methods are ineffective for fine-grained image classification tasks, the proposed method can successfully generate informative synthetic datasets for the same tasks. Moreover, we demonstrate that the proposed method outperforms the baselines even on benchmark datasets such as SVHN, CIFAR-10, and CIFAR-100. Finally, we demonstrate the high applicability of the proposed method by applying it to continual learning tasks.

研究动机与目标

• 为解决现有数据集浓缩（DC）方法在细粒度图像分类任务中表现不佳的问题，此类任务中无关特征占主导地位。
• 识别出DC中的类内梯度匹配无法利用类间的对比信号，导致性能低于随机选择。
• 提出一种新型损失函数，使合成数据优化能够通过跨所有类的联合梯度匹配捕捉类间差异。
• 通过双层预热策略稳定训练，改善优化动态与收敛性。
• 在通用基准和持续学习场景中验证该方法的有效性。

提出的方法

• 提出一种修改后的梯度匹配损失，将所有类的梯度聚合而非逐类处理，使合成数据集能反映类间对比信号。
• 引入双层预热策略，将预热阶段解耦为内层和外层优化循环，以稳定训练并防止发散。
• 采用核速度追踪分析训练动态，证明双层预热机制的必要性。
• 在双层优化框架中应用该方法，使合成数据集优化以匹配原始数据集的完整梯度分布。
• 在内层循环中训练分类头，以指导合成数据的生成，确保与下游任务性能对齐。
• 通过用DCC生成的合成数据替换ER-RB中的环形缓冲区，将方法应用于持续学习，降低内存占用同时提升准确率。

实验结果

研究问题

• RQ1 为何现有数据集浓缩方法（如DC）在细粒度分类任务中表现不佳，尽管其在通用基准上表现成功？
• RQ2 类间对比信号在低样本和细粒度设置下的数据集浓缩中对性能的贡献程度如何？
• RQ3 一种考虑所有类联合的修改后梯度匹配损失，是否能相比类内匹配提升合成数据集的质量？
• RQ4 双层预热策略如何影响DCC优化过程的稳定性与收敛性？
• RQ5 DCC生成的合成数据集能否有效替代持续学习中的真实数据缓冲区，以防止灾难性遗忘？

主要发现

• 在细粒度的Automobile数据集上，DCC在每类10张图像时达到13.27%的测试准确率，优于DC（11.0%）和随机选择（12.2%）。
• 在CIFAR-100上每类仅1张图像时，DCC达到13.27%的准确率，显著优于DC（11.98%）和无预热的DSAC（12.91%）。
• 双层预热策略在CIFAR-100（每类10张图像）上使DCC性能提升最高达1.3%，证明其在优化稳定性中的关键作用。
• 在{Lizard-Truck-Insect}序列的持续学习中，DCC将平均准确率相比标准ER-RB基线提升6.7%，相比DSA提升2.5%。
• DCC在所有基准（SVHN、CIFAR-10、CIFAR-100）上持续优于DC和DSA，尤其在低样本设置下表现更优，证实其鲁棒性与泛化能力。
• 核速度分析表明，双层预热可缓解训练初期的不稳定性，特别是在梯度速度较高的阶段。