[논문 리뷰] Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning

Briland Hitaj, Giuseppe Ateniese외 1명|arXiv (Cornell University)|2017. 02. 24.

Privacy-Preserving Technologies in Data참고 문헌 67인용 수 224

한 줄 요약

본 논문은 GAN 기반의 능동 추론 공격을 제안하여 협업(분산/연합) 딥러닝에서 내부자가 피해자로부터 비공개 학습 데이터를 재구성할 수 있도록 하며, 공유가 은폐되거나 차등 프라이버시로 보호되어 있을 때도 가능하다.

ABSTRACT

Deep Learning has recently become hugely popular in machine learning, providing significant improvements in classification accuracy in the presence of highly-structured and large databases. Researchers have also considered privacy implications of deep learning. Models are typically trained in a centralized manner with all the data being processed by the same training algorithm. If the data is a collection of users' private data, including habits, personal pictures, geographical positions, interests, and more, the centralized server will have access to sensitive information that could potentially be mishandled. To tackle this problem, collaborative deep learning models have recently been proposed where parties locally train their deep learning structures and only share a subset of the parameters in the attempt to keep their respective training sets private. Parameters can also be obfuscated via differential privacy (DP) to make information extraction even more challenging, as proposed by Shokri and Shmatikov at CCS'15. Unfortunately, we show that any privacy-preserving collaborative deep learning is susceptible to a powerful attack that we devise in this paper. In particular, we show that a distributed, federated, or decentralized deep learning approach is fundamentally broken and does not protect the training sets of honest participants. The attack we developed exploits the real-time nature of the learning process that allows the adversary to train a Generative Adversarial Network (GAN) that generates prototypical samples of the targeted training set that was meant to be private (the samples generated by the GAN are intended to come from the same distribution as the training data). Interestingly, we show that record-level DP applied to the shared parameters of the model, as suggested in previous work, is ineffective (i.e., record-level DP is not designed to address our attack).

연구 동기 및 목표

• 협업 딥러닝이 내부 공격자에게 학습 데이터를 유출할 수 있음을 시연한다.
• 학습 과정에서 GAN이 비공개 학습 데이터로부터 대표 샘플(prototypical samples)을 생성할 수 있음을 보여준다.
• 협업 환경에서 레코드 수준의 차등 프라이버시가 이러한 공격을 차단하기에 충분하지 않다고 주장한다.
• 협업 딥러닝에서 차등 프라이버시를 적용할 때의 위험을 강조하고 프라이버시를 보장하는 대안으로 중앙집중 학습을 제안한다.

제안 방법

• 분산 학습 프로토콜에서 협력자를 가장하는 능동적 적대자를 개발한다.
• 피해자의 진화하는 모델로부터의 피드백을 활용하여 피해자의 비공개 데이터와 유사한 샘플을 생성하는 GAN을 학습시킨다.
• 실시간 학습 dynamics를 이용해 피해자의 클래스 분포로부터 대표 샘플을 재구성한다.
• 매개변수가 레코드 수준에서 차등 프라이버시로 난독화되더라도 공격이 여전히 효과적임을 보여준다.
• 화이트박스 접근 시나리오와 단 일부 그레이디언트만 교환되는 매개변수 공유 하에서도 공격이 작동함을 주장한다.

실험 결과

연구 질문

• RQ1 협업 딥러닝에서 내부 공격자가 GAN을 사용하여 다른 참가자의 비공개 학습 데이터를 재구성할 수 있는가?
• RQ2 공유 매개변수에 적용된 차등 프라이버시가 이러한 GAN 기반 정보 누출을 협업 환경에서 차단하는가?
• RQ3 모델 반전을 약화시키는 CNN 및 다른 아키텍처에서도 공격이 효과적인가?
• RQ4 연합 학습의 보안 집계가 위험을 완화하는가, 아니면 내부 공격자가 여전히 학습 역학을 악용할 수 있는가?

주요 결과

• GAN 기반 공격은 원본에 접근하지 않고도 피해자의 비공개 데이터와 분포상 구분될 수 없는 샘플을 생성할 수 있다.
• 매개변수가 레코드 수준에서 차등 프라이버시로 난독화되더라도 공격은 여전히 효과적이다.
• 공격자는 학습 과정을 조작하여 피해자로 하여금 더 자세한 정보를 드러내도록 강제할 수 있다.
• 위협은 연합/분산 학습은 물론 중앙집중 학습에도 프라이버시 위험을 초래한다, 내부 참가자가 누출을 일으킬 수 있기 때문이다.
• GAN은 전통적인 모델 반전 방법보다 더 강한 정보 누출을 제공하며, 특히 CNN에 대해 그렇다.