[논문 리뷰] Measuring the Effect of Training Data on Deep Learning Predictions via Randomized Experiments

Jinkun Lin, Anqi Zhang외 4명|arXiv (Cornell University)|2022. 06. 20.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 인과적 추론에 기반한 새로운 데이터 기여도 측정 지표인 평균 마진널 효과(AME)를 소개한다. 이는 모델의 행동에 기여하는 각 훈련 데이터 포인트의 기여도를 정량화한다. 랜덤라이즈된 부분모델 평가에 LASSO 회귀를 적용함으로써, 희소성 조건 하에서 O(k log N)번의 훈련 실행으로 효율적으로 AME를 추정한다. 이는 이전의 샤플리 값 추정기법보다 크게 향상되었으며, 데이터 유출 공격 탐지 및 모델 행동 해석에 실용적으로 활용할 수 있다.

ABSTRACT

We develop a new, principled algorithm for estimating the contribution of training data points to the behavior of a deep learning model, such as a specific prediction it makes. Our algorithm estimates the AME, a quantity that measures the expected (average) marginal effect of adding a data point to a subset of the training data, sampled from a given distribution. When subsets are sampled from the uniform distribution, the AME reduces to the well-known Shapley value. Our approach is inspired by causal inference and randomized experiments: we sample different subsets of the training data to train multiple submodels, and evaluate each submodel's behavior. We then use a LASSO regression to jointly estimate the AME of each data point, based on the subset compositions. Under sparsity assumptions ($k \ll N$ datapoints have large AME), our estimator requires only $O(k\log N)$ randomized submodel trainings, improving upon the best prior Shapley value estimators.

연구 동기 및 목표

• 딥 러닝에서 개별 훈련 데이터 포인트가 모델 행동에 기여하는 바를 기여도로 분리하는 문제를 해결하기 위해.
• 정확한 샤플리 값 계산의 계산 비용이 지나치게 높아 실용적이지 않은 문제를 해결하기 위해, 확장 가능하고 원칙적인 데이터 기여도 측정 방법을 개발하기 위해.
• 강력하고 쿼리 인식형 메트릭을 통해 데이터 유출 공격과 오류 있는 데이터 포인트를 효율적으로 탐지할 수 있도록 하기 위해.
• 거품 데이터 소스에 대한 확장과 노크오프스 방법을 활용한 거짓 경고율 제어를 통해 프레임워크를 확장하기 위해.

제안 방법

• 임의의 부분집합에 데이터 포인트를 추가했을 때의 기대 마진널 효과를 측정하는 인과적 메트릭으로 AME를 제안한다.
• 훈련 데이터의 부분집합을 균일하게 샘플링하고, 해당 부분집합에 대응하는 부분모델을 훈련하여 주어진 쿼리에 대한 행동을 평가한다.
• 부분집합의 구성과 부분모델 출력을 바탕으로, 모든 데이터 포인트의 AME 값을 동시에 추정하기 위해 LASSO 회귀를 사용한다.
• 희소성 가정(k ≪ N)을 활용하여 필요한 부분모델 평가 수를 O(k log N)으로 감소시켜, 이전의 최고 성능 기법보다 향상된 성능을 달성한다.
• 노크오프스 방법을 활용해 거짓 경고율을 제어함으로써, 데이터 유출 공격 탐지에 대한 추정기 확장을 수행한다.
• 중첩된 기여도를 모델링함으로써 계층적 데이터 소스 기여도를 지원하고, 그룹과 개별 포인트를 함께 분석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 희소성 조건 하에서, 개별 훈련 데이터 포인트가 딥 러닝 모델의 행동에 기여하는 바를 어떻게 효율적으로 추정할 수 있는가?
• RQ2 희소성 가정 하에서 기존의 샤플리 값 추정기법보다 더 나은 계산 속도를 달성할 수 있는가?
• RQ3 데이터 기여도를 활용해 데이터 유출 공격을 탐지할 때 거짓 경고율을 어떻게 제어할 수 있는가?
• RQ4 이 방법은 사용자 또는 시간 창과 같은 그룹화된 데이터 소스의 기여도를 분석하는 데 확장할 수 있는가?

주요 결과

• 제안된 AME 추정기는 희소성 조건 하에서 오직 O(k log N)번의 부분모델 훈련으로만 이루어지며, 이는 이전의 샤플리 값 추정에 대해 O(N log log N)이었던 비용에 비해 크게 향상된 것이다.
• 부분집합을 균일하게 샘플링할 경우, AME는 샤플리 값으로 축소되며, 이는 샤플리 값에 대한 더 효율적인 새로운 추정기로 기능한다.
• 노크오프스 절차를 활용해 거짓 경고율을 제어하면서도 정확한 데이터 유출 공격 탐지를 가능하게 한다.
• 실증적 평가 결과, AME는 기존 방법에 비해 데이터 유출 공격 탐지, 예측 해석, 샤플리 값 추정 모두에서 뛰어난 성능을 보였다.
• 계층적 확장은 영향력 있는 데이터 소스와 그 기여도를 이끄는 특정 데이터 포인트를 모두 성공적으로 식별했다.