[논문 리뷰] LOGAN: Evaluating Privacy Leakage of Generative Models Using Generative Adversarial Networks.

Jamie Hayes, Luca Melis외 2명|arXiv (Cornell University)|2017. 05. 22.

Generative Adversarial Networks and Image Synthesis인용 수 64

한 줄 요약

이 논문은 생성 확률 모델의 훈련 데이터에 포함되었는지 여부를 탐지하기 위해 생성적 적대적 네트워크(GANs)를 사용하는 멤버십 추론 공격인 LOGAN을 소개한다. 판별기의 통계적 차이를 탐지할 수 있는 능력을 활용하여, 얼굴, 물체, 의료 영상과 같은 다양한 데이터셋에서 효과적인 멤버십 추론을 달성하며, 최신 생성 모델에서 심각한 개인정보 유출을 드러낸다.

ABSTRACT

Generative models estimate the underlying distribution of a dataset to generate realistic samples according to that distribution. In this paper, we present the first membership inference attacks against generative models: given a data point, the adversary determines whether or not it was used to train the model. Our attacks leverage Generative Adversarial Networks (GANs), which combine a discriminative and a generative model, to detect overfitting and recognize inputs that were part of training datasets, using the discriminator's capacity to learn statistical differences in distributions. We present attacks based on both white-box and black-box access to the target model, against several state-of-the-art generative models, over datasets of complex representations of faces (LFW), objects (CIFAR-10), and medical images (Diabetic Retinopathy). We also discuss the sensitivity of the attacks to different training parameters, and their robustness against mitigation strategies, finding that defenses are either ineffective or lead to significantly worse performances of the generative models in terms of training stability and/or sample quality.

연구 동기 및 목표

• 생성 모델이 훈련 데이터를 기억한다는 점을 감안할 때, 멤버십 추론 공격가 생성 모델에 적용될 수 있는지 조사하는 것.
• 분포 차이를 기반으로 과적합 여부를 탐지하고 훈련 데이터 포인트를 식별하기 위해 GAN을 사용하는 새로운 공격 프레임워크를 개발하는 것.
• 다양한 데이터 모odal리티에서 화이트박스 및_BLK박스 액세스 시나리오 모두에서 공격의 효과성을 평가하는 것.
• 학습 초모수의 변화에 대한 공격의 민감도를 분석하고 기존 방어 조치의 강건성을 평가하는 것.
• 방어 조치를 적용했을 때 개인정보 보호와 모델 성능 간의 트레이드오프를 평가하는 것.

제안 방법

• 공격 프레임워크는 타겟 생성 모델의 생성 샘플과 실제 훈련 데이터를 구분하도록 훈련된 판별기를 사용하는 GAN 설정을 활용한다.
• 판별기는 실제 데이터와 생성 샘플 간의 미세한 통계적 차이를 학습하여 훈련 포인트에 대한 과적합 여부를 탐지한다.
• 화이트박스 액세스의 경우, 타겟 모델의 내부 표현을 사용하여 판별기를 실제 데이터 대조 생성 샘플에 대해 훈련한다.
• _BLK박스 액세스의 경우, 타겟 모델을 쿼리하여 샘플을 생성하고 이를 기반으로 제로샷 방식으로 판별기를 훈련한다.
• 공격는 LFW, CIFAR-10, 그리고 당뇨병 망막병변 데이터셋을 포함한 여러 생성 모델(GANs 및 VAEs)에서 평가된다.
• 공격 성공률는 판별기가 주어진 입력을 실제(훈련) 또는 생성된 것으로 분류하는 데 대한 신뢰도를 분석함으로써 측정된다.

실험 결과

연구 질문

• RQ1 GAN 기반 탐지 메커니즘을 사용하여 생성 모델에 대해 멤버십 추론 공격를 효과적으로 적용할 수 있는가?
• RQ2 다양한 데이터 유형과 모델 아키텍처에서 화이트박스 및_BLK박스 액세스 설정에서 공격 성능는 어떠한가?
• RQ3 학습 초모수(학습률 및 배치 크기 포함)의 변화에 대해 공격는 얼마나 민감한가?
• RQ4 기존의 멤버십 추론 방어 조치는 생성 모델에 적용되었을 때 효과적인가?
• RQ5 방어 조치를 도입했을 때 개인정보 보호와 모델 성능 간의 트레이드오프는 어떠한가?

주요 결과

• 제안된 LOGAN 공격는 여러 데이터셋에서 90% 이상의 높은 멤버십 추론 정확도를 달성하여 최신 생성 모델에서 심각한 개인정보 유출을 입증한다.
• _BLK박스 액세스 조건에서도 공격는 효과적이며, 모델에 제한된 쿼리 액세스만으로도 훈련 멤버십을 드러낼 수 있음을 시사한다.
• 적대적 훈련 및 기울기 정규화와 같은 방어 조치는 멤버십 추론을 방지하지 못하거나 샘플 품질 및 훈련 안정성 측면에서 모델 성능을 심각하게 떨어뜨린다.
• 공격는 모델 아키텍처와 학습 초모수에 민감하며, 과적합 수준이 높을수록 공격 성공률가 높아진다.
• 결과는 생성 모델에서의 기억화가 단순한 데이터를 넘어서 복잡한 표현(의료 영상 및 얼굴 데이터 포함)으로까지 확장됨을 보여준다.
• 이 연구는 고해상도 생성을 위해 설계된 현재의 생성 모델이 멤버십 추론 공격에 취약함을 드러낸다.