[论文解读] Dataset Condensation with Gradient Matching

Bo Zhao, Konda Reddy Mopuri+1 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 63被引用 105

一句话总结

这篇论文通过将梯度与大型真实数据集对齐来学习一个小型的合成数据集，从而在极少样本的情况下实现从零开始训练，同时在不同体系结构上保持性能。

ABSTRACT

As the state-of-the-art machine learning methods in many fields rely on larger datasets, storing datasets and training models on them become significantly more expensive. This paper proposes a training set synthesis technique for data-efficient learning, called Dataset Condensation, that learns to condense large dataset into a small set of informative synthetic samples for training deep neural networks from scratch. We formulate this goal as a gradient matching problem between the gradients of deep neural network weights that are trained on the original and our synthetic data. We rigorously evaluate its performance in several computer vision benchmarks and demonstrate that it significantly outperforms the state-of-the-art methods. Finally we explore the use of our method in continual learning and neural architecture search and report promising gains when limited memory and computations are available.

研究动机与目标

• 通过将大型数据集压缩成小型、信息密集的合成集来激发数据高效学习。
• 将数据集凝练表述为 real-data 与 synthetic-data 训练损失之间的梯度匹配。
• 开发一种课程梯度匹配方法，以在现代深度网络上实现可扩展优化。
• 表明凝练数据可以从零开始训练，在跨体系结构下具有有竞争力的泛化能力。

提出的方法

• 定义一个带标签的合成样本子集 S，用于训练神经网络。
• 将 L^S 与 L^T 对网络参数的梯度之间的梯度匹配目标 D(·,·) 表达出来。
• 使用一种跟踪优化器步骤的课程梯度匹配策略，以避免代价高昂的展开（unrolling）。
• 通过固定步长的内部循环的反向优化，更新 S，使跨层的梯度距离最小化。
• 在 S 上训练网络，以逼近对完整数据集的训练，从而实现跨体系结构的泛化。
• 将梯度匹配距离分解为逐层项，对于全连接和卷积层，按每个输出节点分组（Eq. 10）。

实验结果

研究问题

• RQ1 是否可以将一个大型图像数据集压缩成一个小型的合成集合，而下游性能不会有实质性下降？
• RQ2 在合成集合上训练的网络能否对真实图像以及跨不同架构进行泛化？
• RQ3 是否存在一个单一的凝练集合就能有效用于训练多种网络架构？
• RQ4 梯度匹配是否是一种可扩展、内存高效的替代方案，相较于数据集凝练中的内循环展开？

主要发现

• 凝练集合在多个架构上，对 MNIST、FashionMNIST、SVHN 和 CIFAR-10 的基线 Coreset（Random、Herding、K-Center、Forgetting）以及 DD 的表现优于它们。
• 在 MNIST 上每类 50 张图片时，该方法达到全数据集上限的 99.6%（注：原文指出全数据集上限为 99.6%，而每类 50 张图片时为 98.8%）。