[논문 리뷰] Effects of Differential Privacy and Data Skewness on Membership Inference Vulnerability

Stacey Truex, Ling Liu외 3명|arXiv (Cornell University)|2019. 11. 21.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 4

한 줄 요약

이 논문은 기계학습 모델의 소속성 추론 취약성을 분석하기 위한 MPLens 시스템을 소개한다. 데이터의 비대칭성은 少수 집단에 대한 위험을 증가시키며, 차별적 프라이버시는 정확도와 프라이버시 보호 사이에 상당한 트레이드오프를 초래한다. 연구는 비대칭 데이터셋이 소속성 추론 위협을 악화시킨다는 점을 드러내며, 차별적 프라이버시는 취약성을 줄이지만 종종 모델 성능을 떨어뜨린다는 점을 확인한다.

ABSTRACT

Membership inference attacks seek to infer the membership of individual training instances of a privately trained model. This paper presents a membership privacy analysis and evaluation system, called MPLens, with three unique contributions. First, through MPLens, we demonstrate how membership inference attack methods can be leveraged in adversarial machine learning. Second, through MPLens, we highlight how the vulnerability of pre-trained models under membership inference attack is not uniform across all classes, particularly when the training data itself is skewed. We show that risk from membership inference attacks is routinely increased when models use skewed training data. Finally, we investigate the effectiveness of differential privacy as a mitigation technique against membership inference attacks. We discuss the trade-offs of implementing such a mitigation strategy with respect to the model complexity, the learning task complexity, the dataset complexity and the privacy parameter settings. Our empirical results reveal that (1) minority groups within skewed datasets display increased risk for membership inference and (2) differential privacy presents many challenging trade-offs as a mitigation technique to membership inference risk.

연구 동기 및 목표

• 학습 데이터의 비대칭성이 기계학습 모델의 소속성 추론 취약성에 미치는 영향을 조사하는 것.
• 소속성 추론 공격에 대비한 차별적 프라이버시의 효과를 평가하는 것.
• MLaaS 플랫폼에서 소속성 프라이버시 위험을 평가하기 위한 체계적 프레임워크인 MPLens를 개발하는 것.
• 소속성 추론 공격에서 모델 복잡도, 학습 과제 복잡도, 프라이버시 파라미터 설정 간의 상호작용을 탐색하는 것.
• 차별적 프라이버시의 영향을 분석하여 프라이버시 보존형 연합 학습에 통찰을 제공하는 것.

제안 방법

• 저자들은 블랙박스 소속성 추론 공격을 위한 소속성 프라이버시 분석 및 평가 시스템인 MPLens를 설계한다.
• 그들은 타겟 모델의 행동을 모방하는 대체 모델을 생성하기 위해 샤페론 모델 공격을 사용하여 타겟 모델에 대한 소속성 추론을 가능하게 한다.
• 비대칭 데이터셋으로 훈련된 모델을 평가하여 클래스별 소속성 추론 취약성을 측정한다.
• 차별적 프라이버시는 훈련 중 모델 업데이트에 캘리브레이션된 노이즈를 추가하여 적용된다.
• 모델 복잡도, 과제 복잡도, 데이터셋 복잡도, 프라이버시 예산(ε) 설정 간의 트레이드오프를 평가한다.
• 공격 성공률과 모델 유틸리티를 평가하기 위해 다양한 데이터셋과 딥러닝 아키텍처를 대상으로 실증 평가를 수행한다.

실험 결과

연구 질문

• RQ1 훈련 세트의 데이터 비대칭성이 개별 클래스의 소속성 추론 공격에 대한 취약성에 어떤 영향을 미치는가?
• RQ2 차별적 프라이버시가 딥러닝 모델의 소속성 추론 취약성을 어느 정도 감소시키는가?
• RQ3 차별적 프라이버시 적용 시 정확도와 프라이버시 보호 사이의 트레이드오프는 무엇인가?
• RQ4 모델 복잡도와 학습 과제 복잡도는 소속성 추론 위험과 억제 효과에 어떤 영향을 미치는가?
• RQ5 소속성 추론 공격를 활용하여 적대적 공격를 촉진하는 고해상도 대체 모델을 생성할 수 있는가?

주요 결과

• 비대칭 데이터셋에서 소수 집단은 다수 집단보다 상당히 높은 소속성 추론 취약성을 보인다.
• 차별적 프라이버시의 사용은 소속성 추론 성공률을 낮추지만 종종 모델 정확도가 크게 떨어진다.
• 차별적 프라이버시가 억제 기법으로서의 효과는 프라이버시 예산(ε)의 선택에 매우 민감하며, 낮은 ε 값은 프라이버시를 증가시키지만 모델 유틸리티를 감소시킨다.
• 모델 복잡도와 학습 과제 복잡도는 차별적 프라이버시 적용 시 프라이버시와 성능 간의 트레이드오프를 악화시킨다.
• 데이터 비대칭성은 비균일한 프라이버시 위험을 초래하며, 표현이 부족한 클래스는 소속성 추론 위협에 비례하여 더 노출된다.
• 본 연구는 소속성 추론이 고해상도 대체 모델 생성에 활용될 수 있음을 입증하여 적대적 공격 위험을 증가시킨다.