[论文解读] Data Valuation Without Training of a Model

Nohyun Ki, Ho‐Yong Choi+1 more|arXiv (Cornell University)|Jan 3, 2023

Machine Learning and Data Classification被引用 7

一句话总结

本文提出一种无需训练的数据价值评分方法——复杂度差距得分（CG-score），用于量化两层过参数化神经网络中单个数据实例对泛化能力的影响。通过测量移除样本后数据复杂度的差异，CG-score 能够在不进行模型训练的情况下识别出异常或误标样本，实现高效的数据剪枝，且准确率损失极小——例如在 CIFAR-10 上实现 40% 的剪枝率，准确率损失低于 1%。

ABSTRACT

Many recent works on understanding deep learning try to quantify how much individual data instances influence the optimization and generalization of a model. Such attempts reveal characteristics and importance of individual instances, which may provide useful information in diagnosing and improving deep learning. However, most of the existing works on data valuation require actual training of a model, which often demands high-computational cost. In this paper, we provide a training-free data valuation score, called complexity-gap score, which is a data-centric score to quantify the influence of individual instances in generalization of two-layer overparameterized neural networks. The proposed score can quantify irregularity of the instances and measure how much each data instance contributes in the total movement of the network parameters during training. We theoretically analyze and empirically demonstrate the effectiveness of the complexity-gap score in finding `irregular or mislabeled' data instances, and also provide applications of the score in analyzing datasets and diagnosing training dynamics. Our code is publicly available at https://github.com/JJchy/CG_score

研究动机与目标

• 解决现有数据价值评估方法因需重复训练而导致的高计算成本问题。
• 开发一种以数据为中心的、无需训练的方法，用于量化单个数据实例对模型泛化能力的影响。
• 通过识别异常或误标样本，实现在无需训练的情况下高效进行数据剪枝和数据集诊断。
• 对 CG-score 在衡量数据异常性和学习难度方面的理论与实证有效性进行验证。

提出的方法

• 将复杂度差距得分（CG-score）定义为一种以数据为中心的度量指标，基于从数据集中移除单个实例后数据复杂度的变化。
• 利用预训练模型的隐藏表征的格拉姆矩阵，通过施瓦茨补（Schur complement）高效计算 CG-score，避免完整的矩阵求逆。
• 从无限宽度神经正切核（NTK）矩阵的逆中推导出 CG-score，聚焦于其逆矩阵的对角元素，以捕捉实例级别的影响。
• 将 CG-score 分解为若干分量，分析类内相似性、类间差异性和实例特异性复杂度对得分的贡献。
• 将 CG-score 应用于识别低分样本以进行剪枝，并通过损失曲线和 NTK 子矩阵演化分析训练动态。

实验结果

研究问题

• RQ1 无需训练的数据价值评分能否有效识别过参数化网络中的异常或误标数据实例？
• RQ2 CG-score 与单个数据点的学习难度及训练动态之间存在何种关联？
• RQ3 基于 CG-score 指导的数据剪枝在多大程度上能保持模型的泛化性能？
• RQ4 CG-score 的哪个分量——类间差异性、类内相似性，还是实例复杂度——对得分排序的影响最为显著？

主要发现

• CG-score 通过测量样本与其所属类别模式的偏离程度，有效识别出异常和误标样本，高分值表示难以学习的样本。
• 在 CIFAR-10 上剪枝 40% 的 CG-score 最低样本后，测试准确率下降不足 1%，表明其具有出色的泛化能力保持性能。
• 部分 CG-score 项 $2y_i(\boldsymbol{y}_{-i}^\top \boldsymbol{h}_i)$ 在所有子采样比率下与完整 CG-score 的斯皮尔曼等级相关系数均超过 0.96，显示最强相关性。
• 高 CG-score 样本表现出更慢的收敛速度，表现为损失衰减更晚，NTK 子矩阵演化也更延迟，相较于低分样本。
• CG-score 与学习难度强相关：高分样本学习更慢，这一结论通过训练过程中的损失曲线和准确率曲线得到验证。
• CG-score 在格拉姆矩阵的不同子采样比率下保持稳定且具有信息量，表明其对计算负载降低具有鲁棒性。