[논문 리뷰] Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning

Milad Nasr, Shuang Song외 3명|arXiv (Cornell University)|2021. 01. 11.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 차등적 비밀유지(DP) 기계학습에서 가설적 공격자를 구현하여 개인정보 유출의 날카로운 하한을 확립하는 방법을 제안한다. 다양한 능력을 가진 공격자(블랙박스 모델 쿼리에서 전체 기울기 풀기까지)를 시뮬레이션함으로써, DP-SGD의 이론적 상한이 공격자가 최대 접근 권한을 가질 경우 날카로운 하한임을 보여주지만, 현실적인 제약 조건이 적용될 경우 실질적인 개인정보 보호 수준이 훨씬 높아짐을 입증한다.

ABSTRACT

Differentially private (DP) machine learning allows us to train models on private data while limiting data leakage. DP formalizes this data leakage through a cryptographic game, where an adversary must predict if a model was trained on a dataset D, or a dataset D' that differs in just one example.If observing the training algorithm does not meaningfully increase the adversary's odds of successfully guessing which dataset the model was trained on, then the algorithm is said to be differentially private. Hence, the purpose of privacy analysis is to upper bound the probability that any adversary could successfully guess which dataset the model was trained on.In our paper, we instantiate this hypothetical adversary in order to establish lower bounds on the probability that this distinguishing game can be won. We use this adversary to evaluate the importance of the adversary capabilities allowed in the privacy analysis of DP training algorithms.For DP-SGD, the most common method for training neural networks with differential privacy, our lower bounds are tight and match the theoretical upper bound. This implies that in order to prove better upper bounds, it will be necessary to make use of additional assumptions. Fortunately, we find that our attacks are significantly weaker when additional (realistic)restrictions are put in place on the adversary's capabilities.Thus, in the practical setting common to many real-world deployments, there is a gap between our lower bounds and the upper bounds provided by the analysis: differential privacy is conservative and adversaries may not be able to leak as much information as suggested by the theoretical bound.

연구 동기 및 목표

• 이론적 차등적 비밀유지(DP) 상한과 실질적인 개인정보 유출 사이의 격차를 조사하기 위해.
• DP 기계학습에서 공격자의 능력이 개인정보 공격의 효과성에 미치는 영향을 평가하기 위해.
• 현재 DP-SGD 분석이 추가적인 가정이 없이도 날카로운지 또는 향후 개선이 가능한지 판단하기 위해.
• 공격자에 대한 실질적인 제약 조건이 이론적 상한과 경험적 하한 사이의 의미 있는 격차를 초래하는지 평가하기 위해.
• 미래의 이론적 및 적용 연구를 이끌기 위해 어떤 가정이 가장 유익한 개인정보 보호 보장을 제공하는지 규명하기 위해.

제안 방법

• 블랙박스(모델 예측 결과만 관찰 가능)에서 화이트박스(중간 기울기 및 학습 업데이트에 접근 가능)에 이르기까지 다양한 수준의 공격자를 구현하기.
• 오직 한 예제만 다를 뿐인 두 데이터셋 D와 D′을 구성하여 DP 구별 게임을 시뮬레이션하기.
• 두 가지 공격 알고리즘 설계: 하나는 악성 데이터셋을 생성하고, 다른 하나는 훈련된 모델이 어떤 데이터셋에서 훈련되었는지 예측하기.
• 다양한 위협 모델 하에서 경험적 개인정보 유출(ε)을 측정하고, DP 분석에서 유도된 이론적 상한과 비교하기.
• DP-SGD를 주요 사례 연구로 삼고, 엄밀한 개인정보 회계를 위해 Moments Accountant를 적용하기.
• 일반성과 현실성 있는 위협 모델을 평가하기 위해 표준 데이터셋(MNIST 및 CIFAR-10)에서 공격을 평가하기.

Figure 2 : Our attack process. Our first algorithm, the crafter constructs two datasets $D$ and $D^{\prime}$ differing in one example. The model trainer then (independently of the adversary) trains a model on one of these two datasets. Our second algorithm, the distinguisher then guesses which datas

실험 결과

연구 질문

• RQ1 공격자가 훈련 중 간접적 정보(기울기 및 중간 모델 업데이트)에 완전히 접근할 경우 DP-SGD의 개인정보 유출에 대한 이론적 상한이 얼마나 날카로운가?
• RQ2 공격자가 실질적인 능력으로 제한되어 있음(예: 최종 모델 출력 결과만 관찰 가능) 경우 실제 개인정보 유출 수준은 어떠한가?
• RQ3 공격자의 능력 제약 조건을 통해 이론적 상한과 경험적 하한 사이의 격차를 현저히 줄일 수 있는가?
• RQ4 공격자의 액세스에 대한 어떤 가정(예: 기울기 풀기 대비 모델 쿼리)이 개인정보 유출에 가장 강하게 영향을 미치는가?
• RQ5 실제로 제공되는 개인정보가 이론적 상한을 초월하는 실질적 위협 모델이 존재하는가? 이는 현재 DP 분석의 과도한 경계 설정을 시사하는가?

주요 결과

• 공격자가 훈련 기울기 및 중간 모델 업데이트에 완전히 접근할 경우 DP-SGD의 개인정보 유출(ε)에 대한 이론적 상한은 날카로운 하한이다.
• 공격자가 최종 모델 예측 결과만 관찰 가능한 블랙박스 접근 방식으로 제한될 경우, 실제 개인정보 유출 수준은 이론적 상한보다 현저히 낮다.
• 실제 설정에서 이론적 상한과 경험적 하한 사이의 격차는 뚜렷하여, DP-SGD가 실질적으로 과도하게 경계가 높게 설정되어 있음을 시사한다.
• 훈련 기울기를 수정하는 공격 방식은 CIFAR-10과 같은 실제 데이터셋에서 작동하는 공격 방식보다 약간 더 효과적일 뿐이며, 병적인 데이터 구성이 비례적 이득을 가져오지 못함을 시사한다.
• 공격자를 훈련 예제만 수정하도록 제한하는 것은 알고리즘을 변경하지 않고도 개인정보 보호 보장을 향상시키는 데 유망한 방향이다.
• 현재 DP-SGD에 대한 Moments Accountant 분석은 날카로운 하한이므로, 이론적 상한의 향상을 위해서는 알고리즘 변경 또는 공격자 능력에 대한 더 강력한 가정이 필요하다.