[论文解读] CAFE: Learning to Condense Dataset by Aligning Features

Kai Wang, Bo Zhao+8 more|arXiv (Cornell University)|Mar 3, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

CAFE 提出了一种新颖的数据集压缩方法，通过在多个网络层上对齐真实数据与合成数据之间的特征分布，同时结合判别损失和动态双层优化，提升了泛化性能。该方法在 SVHN 上实现了最先进性能，相比之前的方法最高提升 11%，并在 ResNet18 和 MLP 等多种架构上展现出强大的泛化能力。

ABSTRACT

Dataset condensation aims at reducing the network training effort through condensing a cumbersome training set into a compact synthetic one. State-of-the-art approaches largely rely on learning the synthetic data by matching the gradients between the real and synthetic data batches. Despite the intuitive motivation and promising results, such gradient-based methods, by nature, easily overfit to a biased set of samples that produce dominant gradients, and thus lack global supervision of data distribution. In this paper, we propose a novel scheme to Condense dataset by Aligning FEatures (CAFE), which explicitly attempts to preserve the real-feature distribution as well as the discriminant power of the resulting synthetic set, lending itself to strong generalization capability to various architectures. At the heart of our approach is an effective strategy to align features from the real and synthetic data across various scales, while accounting for the classification of real samples. Our scheme is further backed up by a novel dynamic bi-level optimization, which adaptively adjusts parameter updates to prevent over-/under-fitting. We validate the proposed CAFE across various datasets, and demonstrate that it generally outperforms the state of the art: on the SVHN dataset, for example, the performance gain is up to 11%. Extensive experiments and analyses verify the effectiveness and necessity of proposed designs.

研究动机与目标

• 为解决基于梯度的数据集压缩方法在硬样本或噪声样本上过拟合的泛化局限性。
• 在合成训练集中保留真实数据集的完整数据分布和判别性结构。
• 通过分布级监督提升对未见神经网络架构的泛化能力。
• 通过动态双层优化方案缓解合成数据优化过程中的过拟合与欠拟合问题。

提出的方法

• CAFE 采用逐层特征对齐（LFA）模块，在神经网络的多个中间层上匹配真实数据与合成数据之间的特征分布。
• 它引入了一种判别损失，基于真实样本与合成聚类的亲和性进行分类，从而为合成数据集注入判别能力。
• 采用动态双层优化框架，自适应调整网络参数和合成数据更新的 SGD 步数，防止过拟合与欠拟合。
• 该方法通过双层目标联合优化合成数据与模型参数，平衡分布对齐与分类性能。
• 框架采用端到端训练，结合损失函数同时包含特征分布对齐与基于分类的判别损失。
• 初始化从随机噪声开始，通过协调地对合成数据与模型权重进行梯度下降来推进优化。

实验结果

研究问题

• RQ1 在多个层上对齐特征分布是否能超越基于梯度的方法，提升合成数据集的泛化性能？
• RQ2 在多尺度上对齐特征如何影响压缩数据的质量与代表性？
• RQ3 引入判别损失在多大程度上增强了合成数据的判别能力？
• RQ4 动态双层优化策略是否能有效防止数据集压缩过程中的过拟合与欠拟合？
• RQ5 CAFE 生成的合成数据集在未见神经网络架构上的泛化能力如何？

主要发现

• 在 SVHN 数据集上，CAFE 相较于最先进方法实现了最高达 11% 的性能提升。
• 在 CIFAR-10 上，CAFE 在 AlexNet、VGG11、ResNet18 和 3 层 MLP 上分别优于先前最先进方法（DC）5.25%、1.79%、4.42% 和 7.96%。
• 可视化结果表明，CAFE 生成的合成图像在语义准确性与与真实图像的视觉相似度方面优于 DC 生成的结果。
• t-SNE 可视化证实，CAFE 更好地捕捉了真实数据的完整分布，而 DC 的合成特征则紧密聚集在决策边界附近。
• CAFE 中的动态双层优化有效平衡了训练步数，相比固定步长基线方法，显著减少了过拟合与欠拟合。
• CAFE 显著优于基于梯度的方法，尤其在更深或不同架构上表现出更强的泛化能力，展现出对架构变化的鲁棒性。