[논문 리뷰] LOGAN: Membership Inference Attacks Against Generative Models

Jamie Hayes, Luca Melis외 2명|arXiv (Cornell University)|2017. 05. 22.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 13

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 사용하여 생성 모델에 대한 첫 번째 소유자 추론 공격을 제시하며, 공격자가 특정 데이터 포인트가 학습에 사용되었는지 여부를 판단할 수 있음을 입증한다. 이 공격들은 화이트박스 및_BLK박스 설정 모두에서 효과적이며, 합성 샘플에 대해 훈련된 GAN을 통해 과적합을 탐지함으로써 작동하며, 보조 지식이 최소한일지라도 높은 정확도를 달성하고, 기존 방어 조치가 모델의 품질이나 안정성을 떨어뜨리는 경향이 있음을 드러낸다.

ABSTRACT

Generative models estimate the underlying distribution of a dataset to generate realistic samples according to that distribution. In this paper, we present the first membership inference attacks against generative models: given a data point, the adversary determines whether or not it was used to train the model. Our attacks leverage Generative Adversarial Networks (GANs), which combine a discriminative and a generative model, to detect overfitting and recognize inputs that were part of training datasets, using the discriminator's capacity to learn statistical differences in distributions. We present attacks based on both white-box and black-box access to the target model, against several state-of-the-art generative models, over datasets of complex representations of faces (LFW), objects (CIFAR-10), and medical images (Diabetic Retinopathy). We also discuss the sensitivity of the attacks to different training parameters, and their robustness against mitigation strategies, finding that defenses are either ineffective or lead to significantly worse performances of the generative models in terms of training stability and/or sample quality.

연구 동기 및 목표

• 생성 모델에 대해 소유자 추론 공격이 가능할지, 특히 공격에 사용할 수 있는 신뢰도 점수가 없는 상황에서 가능한지를 조사하는 것.
• 화이트박스 및 블랙박스 접근 방식을 통해 타겟 생성 모델에 대한 소유자 추론 공격의 효과성을 평가하는 것.
• 학습 파라미터, 정규화, 차분 개인정보 보호 기법이 이러한 공격의 성공에 미치는 영향을 평가하는 것.
• 생성 모델에서 모델 품질과 개인정보 泄露 사이의 트레이드오프를 분석하는 것.
• 실제로 이러한 공격을 수행하는 데 드는 비용과 실현 가능성(금전적 및 계산적 부담 포함)을 평가하는 것.

제안 방법

• 타겟 생성 모델이 생성한 샘플에 대해 GAN을 훈련시어, 타겟 모델의 행동을 모방하는 로컬 복제본을 생성하는 것.
• 공격자 GAN의 판별기(discriminator)를 사용하여 실제 학습 데이터와 타겟 모델의 합성 샘플을 분류하는 것.
• 화이트박스 공격의 경우, 타겟 모델의 판별기 파라미터를 추출하여 공격자 GAN을 훈련하는 것.
• 블랙박스 공격의 경우, 타겟 모델을 쿼리하여 합성 샘플을 수집하고, 공격자 GAN을 처음부터 훈련하는 것.
• 공격에 대한 저항력에 영향을 미치는지 평가하기 위해 웨이트 정규화 및 드롭아웃과 같은 정규화 기법을 적용하는 것.
• 실제 학습 데이터에서 몇 개의 샘플을 제공함으로써 블랙박스 공격 성능을 향상시키기 위한 보조 지식을 활용하는 것.

실험 결과

연구 질문

• RQ1 기존의 분류 모델과 달리, 신뢰도 점수가 없음에도 불구하고 생성 모델에 대해 소유자 추론 공격를 수행할 수 있는가?
• RQ2 다양한 데이터셋에서 최신 생성 모델에 대해 화이트박스 및 블랙박스 소유자 추론 공격의 효과성은 어떠한가?
• RQ3 정규화 및 차분 개인정보 보호 메커니즘이 소유자 추론 공격를 얼마나 효과적으로 완화하는가? 이는 모델 성능에 어떤 비용을 초래하는가?
• RQ4 실제로 이러한 공격를 수행하는 데 드는 계산적 및 금전적 비용은 얼마인가?
• RQ5 모델의 일반화 능력과 소유자 추론 공격에 대한 저항력 사이의 상관관계는 어떠한가?

주요 결과

• 화이트박스 공격는 높은 소유자 추론 정확도를 달성하였으며, 생성 모델의 과적합이 GAN 기반 분석을 통해 탐지될 수 있음을 입증하였다.
• 블랙박스 공격는 강력한 성능을 보였으며, 특히 실제 학습 샘플의 보조 지식이 제공될 경우 랜덤 추측보다 유의미하게 높은 정확도를 기록하였다.
• CIFAR-10에서 BEGAN은 화이트박스 소유자 추론에서 랜덤 추측보다 겨우 9% 향상되었으며, 더 나은 일반화 능력으로 인해 강력한 저항성을 보였다.
• 차분 개인정보 보호 및 정규화와 같은 방어 조치는 공격 성공률를 감소시켰지만, 훈련의 불안정성과 샘플 품질 저하를 야기하였다.
• 공격에 필요한 계산 비용은 매우 낮았으며, 블랙박스 공격는 클라우드 API를 사용할 경우 약 13~42분 및 1,000달러 이하의 금전적 비용으로 수행되었다.
• 일반화 능력이 뛰어난 모델(예: BEGAN)은 본질적으로 소유자 추론 공격에 더 강건함을 확인하였으며, 일반화와 개인정보 보호 사이의 연관성을 규명하였다.