[논문 리뷰] Differentially Private Learning Does Not Bound Membership Inference.

Thomas Humphries, Matthew Rafuse외 4명|arXiv (Cornell University)|2020. 10. 23.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 14

한 줄 요약

이 논문은 차별적 비밀 보장(differentially private, DP) 기계 학습 모델이 회원 식별 공격(Membership Inference Attacks, MIAs)에 대해 견고하다는 가정을 도전한다. 실제 데이터셋을 대상으로 한 이론적 분석과 실험을 통해, 훈련 샘플 간의 데이터 편향과 상관관계가 DP의 이론적 비밀 보장 범위를 위반함으로써, DP가 적용된 상황에서도 MIAs가 성공할 수 있음을 보여준다.

ABSTRACT

Training machine learning models on privacy-sensitive data has become a popular practice, driving innovation in ever-expanding fields. This has opened the door to a series of new attacks, such as Membership Inference Attacks (MIAs), that exploit vulnerabilities in ML models in order to expose the privacy of individual training samples. A growing body of literature holds up Differential Privacy (DP) as an effective defense against such attacks, and companies like Google and Amazon include this privacy notion in their machine-learning-as-a-service products. However, little scrutiny has been given to how underlying correlations or bias within the datasets used for training these models can impact the privacy guarantees provided by DP. In this work, we challenge prior findings that suggest DP provides a strong defense against MIAs. We provide theoretical and experimental evidence for cases where the theoretical bounds of DP are violated by MIAs using the same attacks described in prior work. We first show this empirically, with real-world datasets carefully split to create a distinction between member and non-member samples, and then we study the reason why the theoretical DP bounds break when members and non-members are not independent and identically distributed. Our findings suggest that certain properties of datasets, such as bias or data correlation, play a critical role in determining the effectiveness of DP as a privacy preserving mechanism against MIAs.

연구 동기 및 목표

• 실제 기계 학습 응용 분야에서 차별적 비밀 보장(DP)이 회원 식별 공격(MIAs)을 진정으로 방지하는지 조사하는 것.
• 훈련 데이터셋 내의 데이터 편향과 상관관계가 DP의 개인정보 보호 메커니즘으로서의 효과성에 미치는 영향을 분석하는 것.
• DP가 MIAs에 대해 강력한 이론적이고 실용적인 보호를 제공한다는 널리 퍼진 믿음을 도전하는 것.
• 비독립적이고 동일하게 분포된(non-i.i.i.d.) 회원 및 비회원 데이터 분포 하에서 DP의 이론적 비밀 보장 범위가 어떻게 위반되는지를 이론적·실증적으로 입증하는 것.

제안 방법

• 저자들은 실제 세계의 데이터셋에서 훈련된 차별적 비밀 보장 모델에 대해, 정밀하게 분리된 회원 및 비회원 샘플을 기반으로 회원 식별 공격(MIAs)을 설계하고 수행한다.
• 차별적 비밀 보장의 이론적 범위를 분석하고, 훈련 데이터에 상관관계 또는 편향이 존재할 경우 이러한 범위가 어떻게 위반되는지 규명한다.
• 비독립적이고 동일하게 분포되지 않은(non-i.i.d.) 회원 및 비회원 샘플을 포함한 데이터셋을 대상으로 실증적 평가를 수행하여 현실적인 데이터 분포를 시뮬레이션한다.
• 이론적 분석을 통해 회원 및 비회원의 분포가 i.i.d.가 아닐 경우 DP의 비밀 보장이 붕괴됨을 보여준다.
• 다양한 수준의 데이터 상관관계와 편향 하에서 공격 성공률를 비교하여 DP의 효과성에 미치는 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 차별적 비밀 보장이 회원 식별 공격을 방지하지 못하는 조건은 무엇인가?
• RQ2 훈련 세트 내의 데이터 상관관계와 편향이 차별적 비밀 보장 모델의 이론적 비밀 보장 범위에 어떤 영향을 미치는가?
• RQ3 비독립적이고 동일하게 분포되지 않은(non-i.i.d.) 회원 및 비회원 데이터 분포가 DP의 비밀 보장에 얼마나 심각하게 약화시키는가?
• RQ4 이론적 DP 범위가 충족된 상태에서도 차별적 비밀 보장 모델에 대해 회원 식별 공격이 성공할 수 있는가?

주요 결과

• 훈련 데이터에 회원 및 비회원 샘플 간의 상관관계 또는 편향이 존재할 경우, 차별적 비밀 보장이 회원 식별 공격에 대한 보호를 보장하지 못한다.
• 실증 결과에 따르면, 비독립적이고 동일하게 분포되지 않은(non-i.i.d.) 회원 및 비회원 분포를 가진 실제 세계의 데이터셋에서 훈련된 차별적 비밀 보장 모델에 대해 MIAs가 높은 성공률를 기록한다.
• 비독립적이고 동일하게 분포되지 않은(non-i.i.d.) 데이터 분포가 깨질 경우, 특히 데이터 상관관계나 편향으로 인해 차별적 비밀 보장의 이론적 비밀 보장 범위가 실질적으로 위반된다.
• 본 연구는 데이터 분포 특성—예를 들어 편향과 상관관계—이 DP의 비밀 보장이 MIAs에 대해 약화시키는 데 핵심적인 역할을 한다고 규명한다.