[论文解读] Estimating Training Data Influence by Tracing Gradient Descent

Garima Pruthi, Frederick Liu+2 more|arXiv (Cornell University)|Feb 19, 2020

AI and HR Technologies被引用 121

一句话总结

TracIn 通过对训练迭代中第一阶梯度贡献进行聚合，追踪训练数据如何影响测试预测，提供一个可扩展、基于检查点的影响度量，适用于跨模型和任务。

ABSTRACT

We introduce a method called TracIn that computes the influence of a training example on a prediction made by the model. The idea is to trace how the loss on the test point changes during the training process whenever the training example of interest was utilized. We provide a scalable implementation of TracIn via: (a) a first-order gradient approximation to the exact computation, (b) saved checkpoints of standard training procedures, and (c) cherry-picking layers of a deep neural network. In contrast with previously proposed methods, TracIn is simple to implement; all it needs is the ability to work with gradients, checkpoints, and loss functions. The method is general. It applies to any machine learning model trained using stochastic gradient descent or a variant of it, agnostic of architecture, domain and task. We expect the method to be widely useful within processes that study and improve training data.

研究动机与目标

• 激发量化单个训练样本如何影响特定测试预测的需求。
• 引入 TracIn 作为一个实用的、基于梯度的影响度量。
• 提供一个可扩展的实现，使用一阶近似、检查点和选择性层。
• 展示 TracIn 在体系结构、领域以及基于 SGD 的训练中的推广性。
• 提出在数据清洗和错标检测中的应用。

提出的方法

• 将 TracIn 定义为在使用某个训练样本的迭代中，一阶梯度点积的和：TracIn(z, z') = sum_t or minibatch t of eta_t * grad l(w_t, z') · grad l(w_t, z)。
• 扩展到小批量，使用 1/b 的缩放：TracIn(z, z') = (1/b) sum_t: z in B_t eta_t grad l(w_t, z') · grad l(w_t, z)。
• 用每次更新的测试损失变化的一阶泰勒展开来近似理想的影响。
• 引入 TracInCP，它使用检查点重新演练训练步骤，并在选定的检查点对梯度求和：TracInCP(z, z') = sum_i eta_i grad l(w_{t_i}, z) · grad l(w_{t_i}, z').
• 在层选择和使用检查点以在降低计算的同时保留有信息信号方面提供实用指导。

实验结果

研究问题

• RQ1 我们能否使用来自训练迭代的梯度来量化单个训练样本对特定测试预测的影响？
• RQ2 基于检查点的一阶近似是否能为跨模型和任务的训练数据影响提供一个可扩展且准确的度量？
• RQ3 TracIn 与现有影响方法（如影响函数、代表点选择）相比，在识别错标数据或对测试预测影响最大的样本方面有何区别？
• RQ4 哪些实际考虑因素（小批量处理、层选择、学习率计划）会影响 TracIn 在真实训练流程中的准确性与实用性？

主要发现

• TracIn 在 CIFAR-10 和 MNIST 实验中识别错标训练数据方面优于影响函数和代表点。
• 在使用带检查点的 TracInCP 时，大部分错标数据在排名前列就可以被恢复（例如，在 CIFAR-10 的前 20% 排名中恢复 >80%）。
• 一阶近似与实际损失变化的相关性很高，MNIST 实验中的皮尔逊相关性约为 0.978。
• 不同的检查点提供互补信息，对损失降低较高的采样检查点可以提高信号。
• TracIn 可扩展至如 ImageNet 的大模型（如 ResNet-50），并且可以通过将梯度投射到低维表示（全连接层的秩-1 梯度结构）来实现。
• TracIn 为测试预测提供可解释的支持者（正向影响）和对手（负向影响）洞见，并有助于数据驱动改进，如纠正错标数据。