[논문 리뷰] Estimating Training Data Influence by Tracking Gradient Descent

Garima Pruthi, Frederick Liu외 2명|arXiv (Cornell University)|2020. 02. 19.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 6

한 줄 요약

TracIn은 확률적 경사 하강법으로 훈련된 어떤 딥러닝 모델에나 적용 가능한 효율적인 영향도 계산을 위해 경사 하강 동역학을 추적하는 확장 가능한 방법이다. 일阶 근사, 모델 체크포인트, 선택적 레이어 분석을 활용하여, 모델 재학습이나 아키텍처 수정 없이도 깊이 있는 신경망에서 개별 훈련 데이터 포인트의 영향도를 효율적으로 계산할 수 있으며, 이는 설명 가능하고 실용적인 데이터 정제를 가능하게 한다.

ABSTRACT

We introduce a method called TracIn that computes the influence of a training example on a prediction made by the model. The idea is to trace how the loss on the test point changes during the training process whenever the training example of interest was utilized. We provide a scalable implementation of TracIn via: (a) a first-order gradient approximation to the exact computation, (b) saved checkpoints of standard training procedures, and (c) cherry-picking layers of a deep neural network. In contrast with previously proposed methods, TracIn is simple to implement; all it needs is the ability to work with gradients, checkpoints, and loss functions. The method is general. It applies to any machine learning model trained using stochastic gradient descent or a variant of it, agnostic of architecture, domain and task. We expect the method to be widely useful within processes that study and improve training data.

연구 동기 및 목표

• 개별 훈련 예제가 모델 예측에 미치는 영향도를 추정하는 방법을 개발하는 것.
• 모델 재학습이나 아키텍처 수정 없이도 효율적이고 확장 가능한 영향도 추정을 가능하게 하는 것.
• 영향력 있는 또는 문제 있는 훈련 예제를 식별하여 데이터 중심 AI 워크플로우를 지원하는 것.
• SGD로 훈련된 어떤 모델이든 아키텍처나 작업 유형에 관계없이 적용 가능한 일반 목적의 솔루션을 제공하는 것.

제안 방법

• TracIn은 특정 훈련 예제를 업데이트할 때 테스트 손실이 훈련 중 어떻게 변화하는지 추적하여 영향도를 계산한다.
• 정확한 이阶 도함수를 피하기 위해 계산 비용을 줄이기 위해 영향도 점수의 일阶 근사를 사용한다.
• 표준 훈련 과정에서 저장된 모델 체크포인트를 활용하여 기울기 궤적을 효율적으로 재구성한다.
• 계산 오버헤드를 줄이기 위해 딥 네트워크의 가장 관련성이 높은 레이어만 선택하는 착취 기법(Cherry-picking)을 적용한다.
• 영향도 점수는 최적화 과정 중 테스트 예제의 기울기와 훈련 예제의 기울기 간 내적곱으로 유도된다.
• 이 방법은 모델 아키텍처, 손실 함수, 학습 작업에 관계없이 적용 가능하므로 광범위한 적용성을 가진다.

실험 결과

연구 질문

• RQ1 어떻게 하면 개별 훈련 예제가 모델 예측에 미치는 영향도를 효율적으로 추정할 수 있는가?
• RQ2 큰 딥러닝 모델에 대해 영향도 추정을 확장 가능하고 실용적으로 만들 수 있는가?
• RQ3 이 방법은 다양한 아키텍처, 데이터셋, 학습 작업에 대해 일반화되는가?
• RQ4 영향도 점수로 잘못 레이블링되거나 이상치인 훈련 예제를 식별할 수 있는가?

주요 결과

• TracIn은 모델 재학습이 필요 없이 기울기와 체크포인트만을 사용하여 훈련 데이터 영향도의 확장 가능하고 정확한 근사를 제공한다.
• 실험 결과, 정확한 영향도 점수와 높은 상관관계를 보였으며, 일阶 근사임에도 불구하고 뛰어난 성능을 발휘했다.
• TracIn은 다양한 데이터셋과 아키텍처에서 잘못 레이블링된 예제와 영향력 있는 훈련 인스턴스를 성공적으로 식별했다.
• 이 방법은 계산적으로 효율적이며, 이미지 및 언어 모델을 포함한 SGD로 훈련된 어떤 모델에도 적용 가능하다.