[논문 리뷰] Comprehensive Privacy Analysis of Deep Learning: Stand-alone and Federated Learning under Passive and Active White-box Inference Attacks.

Milad Nasr, Reza Shokri외 1명|arXiv (Cornell University)|2018. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 110

한 줄 요약

이 논문은 독립형 및 피어드 페더레이티드 러닝 환경에서 딥러닝 모델에 대한 화이트박스 멤버십 인식 공격에 대한 종합적인 분석을 제시한다. 확률적 경사 하강법 동안의 기울기와 매개변수 갱신을 이용하여, 저자들은 잘 일반화된 모델에서도 학습 데이터 소속성을 드러내는 새로운 공격 기법을 설계하였다. 이는 최신 CIFAR 모델과 페더레이티드 시스템에서 심각한 프라이버시 누출을 입증한다.

ABSTRACT

Deep neural networks are susceptible to various inference attacks as they remember information about their training data. We perform a comprehensive analysis of white-box privacy inference attacks on deep learning models. We measure the privacy leakage by leveraging the final model parameters as well as the parameter updates during the training and fine-tuning processes. We design the attacks in the stand-alone and federated settings, with respect to passive and active inference attackers, and assuming different adversary prior knowledge. We design and evaluate our novel white-box membership inference attacks against deep learning algorithms to measure their training data membership leakage. We show that a straightforward extension of the known black-box attacks to the white-box setting (through analyzing the outputs of activation functions) is ineffective. We therefore design new algorithms tailored to the white-box setting by exploiting the privacy vulnerabilities of the stochastic gradient descent algorithm, widely used to train deep neural networks. We show that even well-generalized models are significantly susceptible to white-box membership inference attacks, by analyzing state-of-the-art pre-trained and publicly available models for the CIFAR dataset. We also show how adversarial participants of a federated learning setting can run active membership inference attacks against other participants, even when the global model achieves high prediction accuracies.

연구 동기 및 목표

• 모델 매개변수와 기울기 갱신을 이용한 화이트박스 공격를 통해 딥러닝 모델의 프라이버시 누출을 분석하기.
• 확률적 경사 하강법 학습 과정에 맞춤형으로 설계된 새로운 화이트박스 멤버십 인식 공격 기법을 개발하여 블랙박스 확장의 한계를 극복하기.
• 수동 및 능동 공격자 모델을 고려한 독립형 및 페더레이티드 러닝 환경에서 이러한 공격의 효과성을 평가하기.
• 특히 CIFAR 데이터셋에서 높은 정확도를 보이는 잘 일반화된 사전 훈련된 모델의 멤버십 인식에 대한 취약성을 평가하기.
• 페더레이티드 러닝에서 악성 참여자가 다른 참가자의 데이터에 대해 능동형 멤버십 인식 공격를 수행할 수 있는지 보여주기.

제안 방법

• 확률적 경사 하강법 학습 중 기울기와 매개변수 갱신을 분석하여 화이트박스 멤버십 인식 공격를 설계하기.
• 공격를 독립형 및 페더레이티드 러닝 환경으로 확장하고, 다양한 사전 지식을 가진 수동 및 능동 공격자 모델을 모델링하기.
• 최종 모델 매개변수와 중간 단계의 가중치 갱신을 인식 신호로 사용하여 샘플이 학습 세트에 포함되었는지 판단하기.
• SGD의 통계적 특성을 이용한 공격 알고리즘을 개발하여, 출력 기반의 블랙박스 확장 기법이 화이트박스 환경에서는 효과가 없음을 보여주기.
• CIFAR-10 및 CIFAR-100에 대한 최신 사전 훈련된 모델에 대해 공격를 평가하고, 멤버십 인식 성공률 측정하기.
• 악성 클라이언트가 기울기를 조작하여 다른 클라이언트의 데이터 멤버십를 인식하는 능동형 공격를 시뮬레이션하여 페더레이티드 러닝 환경에서의 공격 수행하기.

실험 결과

연구 질문

• RQ1 기울기와 매개변수 갱신을 활용할 때, 독립형 딥러닝 모델에서 화이트박스 멤버십 인식 공격의 효과성은 어떠한가?
• RQ2 표준 블랙박스 공격 확장 기법이 화이트박스 환경에서 실패하는 이유는 무엇이며, SGD 학습 동역학에서 새로운 공격 벡터는 무엇인가?
• RQ3 잘 일반화된 딥러닝 모델이 학습 데이터에 대한 멤버십 정보를 얼마나 많이 누출하는가?
• RQ4 페더레이티드 러닝에서 전역 모델이 높은 정확도를 달성하더라도 악성 참여자가 다른 참가자의 데이터에 대해 능동형 멤버십 인식 공격를 수행할 수 있는가?
• RQ5 독립형 및 페더레이티드 환경에서 다양한 모델 아키텍처와 데이터셋 간의 프라이버시 누출 정도는 어떻게 달라지는가?

주요 결과

• 기울기와 매개변수 갱신 분석에 기반한 화이트박스 멤버십 인식 공격는 출력 값에만 의존하는 블랙박스 확장 기법보다 현저히 뛰어난 성능을 보인다.
• CIFAR-10 및 CIFAR-100에서 훈련된 잘 일반화된 모델들에서도 제안된 화이트박스 공격를 통해 높은 멤버십 인식 성공률를 기록한다.
• 제안된 공격는 프라이버시 누출이 최종 모델 가중치뿐 아니라, 특히 SGD 기반 최적화 과정의 중간 학습 동역학을 통해 발생함을 입증한다.
• 페더레이티드 러닝 환경에서 악성 참여자는 전역 모델이 높은 정확도를 유지하더라도 다른 클라이언트의 데이터에 대해 능동형 멤버십 인식 공격를 수행할 수 있으며, 이는 프라이버시를 침해한다.
• 결과적으로 표준 모델 일반화가 프라이버시를 보장하지 못하며, 화이트박스 기법을 통해 학습 데이터 소속성이 여전히 추론 가능함을 보여준다.
• 본 연구는 현재의 방어 기법이 모델 정확도나 일반화 수준에 기반할 경우, 정교한 화이트박스 멤버십 인식 공격를 방지하는 데 부적절할 수 있음을 드러낸다.