[论文解读] Dataset Pruning: Reducing Training Data by Examining Generalization Influence

Shuo Yang, Zeke Xie+4 more|arXiv (Cornell University)|May 19, 2022

Machine Learning and Data Classification被引用 21

一句话总结

提出一种基于优化的数据集剪枝方法，选择一个尽可能大的训练数据子集，其移除后仍能保持泛化差距在预定界限内，从而提升训练效率。

ABSTRACT

The great success of deep learning heavily relies on increasingly larger training data, which comes at a price of huge computational and infrastructural costs. This poses crucial questions that, do all training data contribute to model's performance? How much does each individual training sample or a sub-training-set affect the model's generalization, and how to construct the smallest subset from the entire training data as a proxy training set without significantly sacrificing the model's performance? To answer these, we propose dataset pruning, an optimization-based sample selection method that can (1) examine the influence of removing a particular set of training samples on model's generalization ability with theoretical guarantee, and (2) construct the smallest subset of training data that yields strictly constrained generalization gap. The empirically observed generalization gap of dataset pruning is substantially consistent with our theoretical expectations. Furthermore, the proposed method prunes 40% training examples on the CIFAR-10 dataset, halves the convergence time with only 1.3% test accuracy decrease, which is superior to previous score-based sample selection methods.

研究动机与目标

• 将数据集剪枝问题动机化并定义为在保证泛化界限的前提下减少训练数据。
• 利用影响函数来近似移除数据点所引起的参数变化。
• 将问题表述为离散优化，并在约束参数变化的前提下最大化剪枝数据量，并求解。
• 给出理论泛化保证，并在不同数据集和网络结构上进行实证验证。

提出的方法

• 基于全量模型与剪枝模型之间的参数变化范数定义 epsilon-冗余子集。
• 使用影响函数和Hessian逆估计每个样本的参数影响：I_param(z) = -H_theta^{-1} grad_theta L(z, theta)。
• 通过聚合影响来近似子集的影响：sum_{z in D_hat} I_param(z)，并将其L2范数约束为 <= epsilon。
• 表述两个离散优化问题：(a) 在 epsilon 约束下最大化子集规模以实现泛化保证的剪枝；(b) 在给定固定 m 的情况下最小化参数变化的基数保证剪枝。

实验结果

研究问题

• RQ1 在不超过预定义泛化差距的情况下，训练数据中可以移除多大的子集？
• RQ2 基于影响函数的近似在移除一组样本时是否能可靠地界定对泛化的影响？
• RQ3 剪枝后的数据集是否能在跨架构上保持性能并提升神经网络结构搜索的效率？
• RQ4 剪枝比、泛化与训练效率之间的经验权衡是什么？

主要发现

• 该剪枝方法在 CIFAR-10 上实现了 40% 的数据量减少，测试准确率损失仅为 1.3% 。
• 观察到的泛化差距与基于 epsilon 的理论边界一致，显示出紧密的经验一致性。
• 与基线相比，基于优化的剪枝在随机、Herding、Forgetting、GraNd、EL2N 以及简单影响分数方法上具有优势，尤其是在更高的剪枝比例时。
• 剪枝数据对未见架构具有良好的泛化性（例如用一个小型网络进行剪枝即可迁移到 ResNet18/50）。
• 剪枝数据集显著降低训练时间（例如在 CIFAR-10 上收敛时间几乎减半），且性能损失很小。
• 在类 NAS 的实验中，剪枝代理数据集得到的架构性能接近使用完整数据集发现的架构，同时显著降低搜索时间和存储需求。