[논문 리뷰] Measuring Forgetting of Memorized Training Examples

Matthew Jagielski, Om Thakkar외 9명|arXiv (Cornell University)|2022. 06. 30.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 기계 학습 모델이 시간이 지남에 따라 특정 훈련 예제를 얼마나 忘却하는지 측정하기 위한 방법을 제안하며, 개인정보 유출 위험을 평가하기 위해 소속성 추론 공격를 사용한다. 모델가 확률적 경사 하강법로 훈련될 경우 데이터의 무작위성과 비결정성으로 인해 초기 훈련 예제를 忘却하게 되며, 이는 사전 훈련된 모델의 경우 특히 중요한 피Vive 보호 효과를 제공한다.

ABSTRACT

Machine learning models exhibit two seemingly contradictory phenomena: training data memorization, and various forms of forgetting. In memorization, models overfit specific training examples and become susceptible to privacy attacks. In forgetting, examples which appeared early in training are forgotten by the end. In this work, we connect these phenomena. We propose a technique to measure to what extent models "forget" the specifics of training examples, becoming less susceptible to privacy attacks on examples they have not seen recently. We show that, while non-convex models can memorize data forever in the worst-case, standard image, speech, and language models empirically do forget examples over time. We identify nondeterminism as a potential explanation, showing that deterministically trained models do not forget. Our results suggest that examples seen early when training with extremely large datasets - for instance those examples used to pre-train a model - may observe privacy benefits at the expense of examples seen later.

연구 동기 및 목표

• 기계 학습 모델이 대규모 또는 파인튜닝 환경에서 시간이 지남에 따라 특정 훈련 예제를 忘却하는지 조사하는 것.
• 잊혀짐이 기억의 감소를 초래하고, 따라서 소속성 추론 공격로 인한 개인정보 위험을 완화하는지 확인하는 것.
• 훈련 순서, 데이터 반복, 훈련 알고리즘의 결정성 등 잊혀짐 속도에 영향을 주는 요인들을 규명하는 것.
• 특히 확률적 경사 하강법의 역할과 결정적 훈련 대비 잊혀짐의 근본 원인을 이해하는 것.
• 수동적 잊혀짐이 실질적인 개인정보 보호 효과를 제공하는지 평가하며, 특히 대규모 데이터셋으로 사전 훈련된 모델에 대해 중점적으로 분석하는 것.

제안 방법

• 특정 훈련 예제가 훈련에 사용되었는지 여부를 탐지할 수 있는지 측정하기 위해 최신 기술의 소속성 추론 공격를 사용한다.
• 비전, 음성, 언어 작업에서 모델을 훈련하고 시간이 지남에 따라 소속성 추론 성공률을 측정하여 忘却 정도를 정량화한다.
• 확률적 경사 하강법(SGD)으로 훈련한 모델과 결정적 훈련으로 훈련한 모델를 비교하여 비결정성의 역할을 분리한다.
• 확률적 경사 업데이트가 忘却를 유도한다는 것을 증명하기 위해 주입된 데이터 포인트를 포함한 이론적 평균 추정 과제를 활용한다.
• 주입된 양성 및 음성 데이터 포인트로 훈련된 모델 간의 개인정보 유출을 제한하기 위해 Rényi 분산을 적용한다.
• 통제된 훈련 실험을 통해 데이터 순서와 중복의 영향을 분석하여 忘却 속도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 훈련 도중 특정 훈련 예제를 얼마나 忘却하는가, 특히 데이터셋의 초기에 등장한 예제에 대해 어떻게 되는가?
• RQ2 확률적 경사 하강법의 무작위성으로 인해 모델이 초기 훈련 예제를 잊어버리며, 이로 인해 기억의 감소와 개인정보 위험 감소가 발생하는가?
• RQ3 결정적 훈련과 비교했을 때 확률적 훈련은 예제 유지 및 소속성 추론 공격에 대한 취약성 측면에서 어떻게 다른가?
• RQ4 대규모 사전 훈련에서 초기 예제의 忘却가 수동적 개인정보 보호 효과를 초래할 수 있는가?
• RQ5 데이터 순서, 중복, 학습률 등의 요인이 잊혀짐 속도에 가장 강하게 영향을 주는가?

주요 결과

• 확률적 경사 하강법으로 훈련된 모델는 시간이 지남에 따라 초기 훈련 예제를 忘却하며, 이로 인해 소속성 추론 공격에 대한 취약도가 감소한다.
• 결정적 훈련된 모델에서는 잊혀짐이 크게 감소하거나 전혀 발생하지 않아, 무작위성이 잊혀짐의 핵심 원인임을 시사한다.
• 초기 훈련에서 등장하고 반복되지 않은 예제일수록 잊혀짐 속도가 더 빠르며, 특히 단일 에포크나 소수의 에포크 훈련 환경에서 그렇다.
• 이론적 평균 추정 과제에서, 주입된 양성 및 음성 데이터 포인트로 훈련된 모델 간의 Rényi 분산은 훈련 단계가 진행될수록 감소함을 입증하여, 무작위성으로 인한 忘却가 발생한다는 것을 증명한다.
• 대규모 데이터셋으로 사전 훈련된 모델는 초기 예제가 시간이 지남에 따라 점점 더 식별하기 어려워지며, 이는 忘却로 인한 수동적 개인정보 보호 효과를 초래할 수 있다.
• 비볼록 모델인 k-means는 비볼록성으로 인해 개인정보 유출을 겪으며, 이는 이 맥락에서 이러한 현상이 처음으로 보고된 사례이다.