[论文解读] Measuring the Effect of Training Data on Deep Learning Predictions via Randomized Experiments

Jinkun Lin, Anqi Zhang+4 more|arXiv (Cornell University)|Jun 20, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出平均边际效应（AME），一种基于因果推断的新数据归因度量方法，用于量化每个训练数据点对模型行为的贡献。通过在随机子模型评估上使用LASSO回归，该方法在稀疏性假设下以O(k log N)次训练运行高效估计AME，显著优于先前的Shapley值估计器，实现了数据投毒检测与模型行为解释的实用化。

ABSTRACT

We develop a new, principled algorithm for estimating the contribution of training data points to the behavior of a deep learning model, such as a specific prediction it makes. Our algorithm estimates the AME, a quantity that measures the expected (average) marginal effect of adding a data point to a subset of the training data, sampled from a given distribution. When subsets are sampled from the uniform distribution, the AME reduces to the well-known Shapley value. Our approach is inspired by causal inference and randomized experiments: we sample different subsets of the training data to train multiple submodels, and evaluate each submodel's behavior. We then use a LASSO regression to jointly estimate the AME of each data point, based on the subset compositions. Under sparsity assumptions ($k \ll N$ datapoints have large AME), our estimator requires only $O(k\log N)$ randomized submodel trainings, improving upon the best prior Shapley value estimators.

研究动机与目标

• 解决深度学习中将模型行为归因于单个训练数据点的挑战。
• 开发一种可扩展、有理论依据的数据归因方法，克服精确Shapley值计算的计算不可行性。
• 通过稳健且查询感知的度量，实现高效的数据投毒检测与故障数据点识别。
• 将该框架扩展至分层数据源，并利用 knockoffs 方法控制假阳性率。

提出的方法

• 提出AME作为因果度量，用于衡量将某数据点加入训练数据随机子集时的期望边际效应。
• 对训练数据子集进行均匀采样，并训练相应的子模型，以评估其在给定查询上的行为。
• 使用LASSO回归，基于子集构成与子模型输出，联合估计所有数据点的AME值。
• 利用稀疏性假设（k ≪ N），将所需子模型评估次数减少至O(k log N)，优于先前的最先进方法。
• 通过knockoffs方法扩展估计器，以控制数据投毒检测中的假阳性率。
• 通过建模嵌套贡献，支持分层数据源的估计，实现对组与单个数据点的联合分析。

实验结果

研究问题

• RQ1 如何在稀疏性假设下高效估计单个训练数据点对深度学习模型行为的贡献？
• RQ2 在稀疏性假设下，能否实现优于现有Shapley值估计器的计算效率？
• RQ3 在使用数据归因检测数据投毒时，如何控制假阳性率？
• RQ4 该方法能否扩展至分析分组数据源（如用户或时间窗口）的贡献？

主要发现

• 在稀疏性假设下，所提出的AME估计器仅需O(k log N)次子模型训练，显著优于先前Shapley值估计的O(N log log N)速率。
• 当子集均匀采样时，AME退化为Shapley值，使该方法成为Shapley值的新、更高效的估计器。
• 通过knockoffs方法，该方法可实现受控假阳性率下的准确数据投毒检测。
• 实证评估表明，AME在数据投毒检测、预测解释与Shapley值估计方面均优于现有方法。
• 分层扩展成功识别出具有影响力的分层数据源及其驱动贡献的具体数据点。