[논문 리뷰] Reconciling Utility and Membership Privacy via Knowledge Distillation.

Virat Shejwalkar, Amir Houmansadr|arXiv (Cornell University)|2019. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 7

한 줄 요약

이 논문은 지식 증류 기반 방어 기법인 멤버십 개인정보 보호를 위한 증류(Distillation for Membership Privacy, DMP)를 제안한다. 이는 분류 정확도를 크게 떨어뜨리지 않으면서 기계 학습 모델의 멤버십 개인정보를 강화한다. DMP는 교사 모델에서 학생 모델로 지식을 선택적으로 전달하여, 기존 방법에 비해 유용성과 화이트박스 및_BLK박스 멤버십 유추 공격에 대한 저항성 사이의 우월한 트레이드오프를 달성한다.

ABSTRACT

Large capacity machine learning models are prone to membership inference attacks in which an adversary aims to infer whether a particular data sample is a member of the target model's training dataset. Such membership inferences can lead to serious privacy violations as machine learning models are often trained using privacy-sensitive data such as medical records and controversial user opinions. Recently, defenses against membership inference attacks are developed, in particular, based on differential privacy and adversarial regularization; unfortunately, such defenses highly impact the classification accuracy of the underlying machine learning models. In this work, we present a new defense against membership inference attacks that preserves the utility of the target machine learning models significantly better than prior defenses. Our defense, called distillation for membership privacy (DMP), leverages knowledge distillation to train machine learning models with membership privacy. We analyze the key requirements for membership privacy and provide a novel criterion to select data used for knowledge transfer, in order to improve membership privacy of the final models. DMP works effectively against the attackers with either a whitebox or blackbox access to the target model. We evaluate DMP's performance through extensive experiments on different deep neural networks and using various benchmark datasets. We show that DMP provides a significantly better tradeoff between inference resistance and classification performance than state-of-the-art membership inference defenses. For instance, a DMP-trained DenseNet provides a classification accuracy of 65.3% for a 54.4% blackbox membership inference attack accuracy, while an adversarially regularized DenseNet provides a classification accuracy of only 53.7% for a (much worse) 68.7% blackbox membership inference attack accuracy.

연구 동기 및 목표

• 의료 기록과 같은 민감한 데이터를 기반으로 훈련된 기계 학습 모델에 대해 멤버십 유추 공격이 초래하는 심각한 개인정보 위험을 해결하기 위해.
• 높은 모델 유용성(분류 정확도)을 유지하면서 멤버십 유추 공격에 효과적으로 저항할 수 있는 방어 기법을 개발하기 위해.
• 차별적 프라이버시와 적대적 정규화와 같은 기존 방어 기법이 모델 성능을 심각하게 떨어뜨리는 한계를 극복하기 위해.
• 지식 전달에 최적의 데이터를 선택하여 멤버십 개인정보 보호에 특별히 초점을 맞춘 지식 증류 프레임워크를 설계하기 위해.

제안 방법

• 교사 모델의 소프트 레이블을 사용하여 지식 증류를 활용해 학생 모델을 훈련함으로써, 훈련 데이터의 기억화를 줄이는 일반화 패턴을 전달한다.
• 모델 정확도를 훼손하지 않으면서 멤버십 개인정보 보호를 향상시키는 데 중점을 둔 지식 전달을 위한 새로운 데이터 선택 기준을 도입한다.
• 두 단계 훈련 과정을 적용한다: 첫 번째로 원본 데이터셋에서 교사 모델을 훈련하고, 두 번째로 교사 모델의 증류된 지식을 사용하여 신중히 선택된 데이터 서브셋에서 학생 모델을 훈련한다.
• 다양한 딥 뉴럴 네트워크(예: DenseNet)와 벤치마크 데이터셋에 방어 기법을 적용하고, 화이트박스 및 블랙박스 멤버십 유추 환경에서의 강건성을 평가한다.
• 학생 모델이 비멤버십 데이터에서 더 잘 일반화하도록 유도하는 개인정보 인식 손실 함수를 적용하여, 훈련 샘플의 기억화를 줄인다.
• 메트릭 기반 선택 전략을 활용해 증류 과정에서 멤버십 개인정보 향상에 가장 기여하는 데이터 샘플을 식별하고 우선순위를 정한다.

실험 결과

연구 질문

• RQ1 지식 증류가 분류 성능을 희생시키지 않고 기계 학습 모델의 멤버십 개인정보 보호를 효과적으로 향상시키는 데 재사용될 수 있는가?
• RQ2 제안된 지식 전달을 위한 데이터 선택 기준이 학생 모델의 멤버십 유추 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 DMP는 적대적 정규화 및 차별적 프라이버시와 같은 기존 방어 기법보다 유용성-프라이버시 트레이드오프 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 DMP는 다양한 딥 러닝 아키텍처와 데이터셋에서 화이트박스 및 블랙박스 멤버십 유추 공격에 얼마나 효과적으로 대응하는가?

주요 결과

• DMP로 훈련된 DenseNet은 테스트 정확도 65.3%를 기록하면서 블랙박스 멤버십 유추 공격 성공률를 54.4%로 낮춘다.
• 반면에 적대적으로 정규화된 DenseNet은 정확도가 오직 53.7%에 불과하지만, 블랙박스 공격 성공률는 68.7%로 훨씬 높아진다.
• 제안된 방어 기법은 여러 아키텍처와 데이터셋에서 일관된 성능 향상을 보이며, 광범위한 적용 가능성을 시사한다.
• 지식 전달을 위한 데이터 선택 기준이 모델 유용성을 떨어뜨리지 않으면서 멤버십 개인정보 보호 향상을 극대화하는 데 핵심적인 역할을 한다.
• DMP는 화이트박스 및 블랙박스 멤버십 유추 공격 모두에 효과적으로 저항하며, 유용성-프라이버시 트레이드오프 측면에서 최신 기술을 능가한다.
• 차별적 프라이버시와 적대적 정규화와 비교해 모델 유용성을 훨씬 더 잘 유지하며, 이는 종종 정확도가 크게 하락하는 경향이 있기 때문이다.