[论文解读] A Bayesian Approach To Analysing Training Data Attribution In Deep Learning

Elisa Nguyen, Minjoon Seo+1 more|arXiv (Cornell University)|May 31, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种用于深度学习中训练数据归属（TDA）的贝叶斯框架，将模型参数和TDA得分视为随机变量，以量化来自随机训练的不确定性。研究发现，真实TDA值通常被模型初始化和批次组成带来的噪声所主导，因此建议仅在方差较低、信号较强的配对中使用TDA，此时估计结果才可靠。

ABSTRACT

Training data attribution (TDA) techniques find influential training data for the model's prediction on the test data of interest. They approximate the impact of down- or up-weighting a particular training sample. While conceptually useful, they are hardly applicable to deep models in practice, particularly because of their sensitivity to different model initialisation. In this paper, we introduce a Bayesian perspective on the TDA task, where the learned model is treated as a Bayesian posterior and the TDA estimates as random variables. From this novel viewpoint, we observe that the influence of an individual training sample is often overshadowed by the noise stemming from model initialisation and SGD batch composition. Based on this observation, we argue that TDA can only be reliably used for explaining deep model predictions that are consistently influenced by certain training data, independent of other noise factors. Our experiments demonstrate the rarity of such noise-independent training-test data pairs but confirm their existence. We recommend that future researchers and practitioners trust TDA estimates only in such cases. Further, we find a disagreement between ground truth and estimated TDA distributions and encourage future work to study this gap. Code is provided at https://github.com/ElisaNguyen/bayesian-tda.

研究动机与目标

• 解决由于随机训练过程导致的深度学习中训练数据归属（TDA）不可靠的问题。
• 使用贝叶斯推断将TDA得分建模为随机变量，捕捉来自模型初始化和批次组成的不确定性。
• 通过分析真实TDA值中的信噪比，评估TDA方法的可靠性。
• 基于归属得分中的方差和信号强度，为实践者提供TDA可被信任的时机指导。
• 揭示估计的TDA与真实分布之间的差距，呼吁改进评估标准。

提出的方法

• 将学习到的模型视为参数上的贝叶斯后验分布 p(θ|𝒟)，承认训练结果依赖于初始化和批次组成。
• 将TDA得分 τ(zⱼ,z) 建模为来自两个后验分布的随机变量：p(θ|𝒟) 和 p(θ\j|𝒟\j)，分别代表完整和缩减的训练集。
• 通过计算期望值 𝔼|τ| 和方差 Var(τ) 来量化TDA的可靠性，识别出信号主导噪声的情况。
• 使用子采样数据集和基于梯度的TDA方法（如影响函数、TracIn）在多个随机种子和批次上估计TDA得分。
• 将估计的TDA值 τ′ 与通过完整重训练获得的真实TDA值 τ 进行比较，分析差异。
• 分析TDA方差的贡献因素，包括模型大小、数据集大小和批次组成。

Figure 1 : A Bayesian interpretation of training data attribution (TDA).

实验结果

研究问题

• RQ1 真实训练数据归属（TDA）值 τ(zⱼ,z) 在多大程度上被模型初始化和SGD批次组成的噪声所主导？
• RQ2 在多少个测试-训练配对中，TDA值的信噪比足够高，可以信任TDA估计？
• RQ3 像影响函数这样的TDA估计方法与完全移除一个样本后的全局变化相比如何？
• RQ4 估计的TDA分布与真实TDA分布之间存在差异的原因是什么？
• RQ5 在何种条件下，TDA可以被可靠地用于解释深度模型的决策？

主要发现

• 真实TDA值 τ(zⱼ,z) 通常被噪声主导，在许多情况下 √Var(τ) > 𝔼|τ|，导致其不可靠。
• 影响函数等TDA方法仅捕捉模型的局部变化，而LOO重训练引发的是全局变化，这解释了估计差异的存在。
• 低方差、高信号的TDA配对存在但极为罕见，TDA仅应在这些情况下被信任。
• 由于随机性增加，TDA值的信噪比在更大模型和更大数据集中的显著降低。
• 估计的TDA分布与真实TDA分布之间存在持续不一致，表明需要改进评估指标。
• TDA得分的方差主要由模型初始化和批次组成驱动，而不仅仅是模型复杂度或数据集大小。

Figure 2 : Sources of randomness for Bayesian posteriors. In each case, the training starts from initialisation $\theta_{0}$ . Depending on whether $z_{j}$ is included in the training data, one has either samples from the original posterior $p(\theta|\mathcal{D})$ or from the counterfactual posterio