[논문 리뷰] A Bayesian Approach To Analysing Training Data Attribution In Deep Learning

Elisa Nguyen, Minjoon Seo외 1명|arXiv (Cornell University)|2023. 05. 31.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 딥러닝에서 학습 데이터 할당(TDA)을 위한 베이지안 프레임워크를 제안하며, 모델 파라미터와 TDA 점수를 난수 변수로 간주하여 확률적 학습에서 발생하는 불확실성을 정량화한다. 연구 결과, 진정한 TDA 값은 종종 모델 초기화와 배치 구성으로 인한 노이즈에 의해 지배되며, 이는 TDA를 신뢰할 수 있는 추정이 가능한 저분산·고신호 쌍에서만 사용할 것을 권장한다.

ABSTRACT

Training data attribution (TDA) techniques find influential training data for the model's prediction on the test data of interest. They approximate the impact of down- or up-weighting a particular training sample. While conceptually useful, they are hardly applicable to deep models in practice, particularly because of their sensitivity to different model initialisation. In this paper, we introduce a Bayesian perspective on the TDA task, where the learned model is treated as a Bayesian posterior and the TDA estimates as random variables. From this novel viewpoint, we observe that the influence of an individual training sample is often overshadowed by the noise stemming from model initialisation and SGD batch composition. Based on this observation, we argue that TDA can only be reliably used for explaining deep model predictions that are consistently influenced by certain training data, independent of other noise factors. Our experiments demonstrate the rarity of such noise-independent training-test data pairs but confirm their existence. We recommend that future researchers and practitioners trust TDA estimates only in such cases. Further, we find a disagreement between ground truth and estimated TDA distributions and encourage future work to study this gap. Code is provided at https://github.com/ElisaNguyen/bayesian-tda.

연구 동기 및 목표

• 확률적 학습 과정으로 인한 TDA의 신뢰성 부족 문제를 해결하기 위해.
• 베이지안 추론을 사용하여 TDA 점수를 난수 변수로 모델링하여 모델 초기화와 배치 구성으로 인한 불확실성을 포착하기 위해.
• 기본 TDA 값의 신뢰성 분석을 통해 신호 대 노이즈 비율을 평가하여 TDA 방법의 신뢰도를 평가하기 위해.
• 할당 점수의 분산과 신호 강도에 기반하여 TDA가 언제 신뢰할 수 있는지 실무자에게 안내하기 위해.
• 추정된 TDA 분포와 진정한 TDA 분포 사이의 격차를 부각하여, 향상된 평가 기준이 필요하다는 점을 강조하기 위해.

제안 방법

• 학습된 모델을 파라미터에 대한 베이지안 사후분포 p(θ|𝒟)로 간주하여, 학습 결과가 초기화 및 배치 구성에 의존한다는 점을 인정하기 위해.
• TDA 점수 τ(zⱼ,z)를 두 개의 사후분포 p(θ|𝒟)와 p(θ\j|𝒟\j)에서 유도된 난수 변수로 모델링하여 전체 및 감소된 학습 세트를 표현하기 위해.
• 기대값 𝔼|τ|와 분산 Var(τ)를 계산하여 TDA의 신뢰성을 정량화하고, 신호가 노이즈를 압도하는 경우를 식별하기 위해.
• 하향 샘플링된 데이터셋과 기울기 기반 TDA 방법(예: 영향도 함수, TracIn)을 사용하여 다양한 랜덤 시드와 배치에서 TDA 점수를 추정하기 위해.
• 전체 재학습을 통해 확보한 진정한 TDA 값 τ와 추정된 TDA 값 τ′을 비교하여 격차 분석하기 위해.
• TDA의 분산에 기여하는 요인들, 즉 모델 크기, 데이터셋 크기, 배치 구성 등을 분석하기 위해.

Figure 1 : A Bayesian interpretation of training data attribution (TDA).

실험 결과

연구 질문

• RQ1 진정한 학습 데이터 할당(TDA) 값 τ(zⱼ,z)가 모델 초기화와 SGD 배치 구성으로 인한 노이즈에 얼마나 지배되는가?
• RQ2 테스트-트레이닝 쌍 중에서 TDA 값의 신호 대 노이즈 비율이 충분히 높아 TDA 추정치를 신뢰할 수 있는 경우는 얼마나 되는가?
• RQ3 영향도 함수와 같은 TDA 추정 방법은 이전에 제거된 데이터로 재학습한 진정한 전역 변화와 어떻게 비교되는가?
• RQ4 왜 추정된 TDA 분포와 진정한 TDA 분포 사이에 격차가 존재하는가?
• RQ5 TDA가 딥 모델 결정을 해석하는 데 신뢰성 있게 사용될 수 있는 조건은 무엇인가?

주요 결과

• 진정한 TDA 값 τ(zⱼ,z)는 종종 노이즈에 의해 지배되며, 많은 경우 √Var(τ) > 𝔼|τ|이므로 신뢰할 수 없다.
• 영향도 함수와 같은 TDA 방법은 모델의 국소적 변화만 모델링하지만, LOO 재학습은 전역적 변화를 유도하므로 추정 격차가 발생한다.
• 저분산·고신호 TDA 쌍은 존재하지만 흔치 않으며, TDA는 이러한 경우에만 신뢰할 수 있다.
• 더 큰 모델과 더 큰 데이터셋에서는 확률적 요인이 증가함에 따라 TDA 값의 신호 대 노이즈 비율이 크게 감소한다.
• 추정된 TDA 분포와 진정한 TDA 분포 사이에는 일관된 불일치가 존재하여, 향상된 평가 지표가 필요하다는 점을 시사한다.
• TDA 점수의 분산은 주로 모델 초기화와 배치 구성에 의해 결정되며, 모델 복잡도나 데이터셋 크기의 영향보다 크다.

Figure 2 : Sources of randomness for Bayesian posteriors. In each case, the training starts from initialisation $\theta_{0}$ . Depending on whether $z_{j}$ is included in the training data, one has either samples from the original posterior $p(\theta|\mathcal{D})$ or from the counterfactual posterio