[논문 리뷰] Protecting GANs against privacy attacks by preventing overfitting.

Sumit Mukherjee, Yixi Xu외 2명|arXiv (Cornell University)|2019. 12. 31.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 샘플 품질을 희생시키지 않으면서도 훈련 데이터에 대한 과적합을 방지함으로써 멤버십 추론 공격에 저항하도록 설계된 새로운 GAN 아키텍처인 privGAN을 제안한다. 이로 인해 privGAN은 벤치마크 데이터셋에서 근사 최적의 최종 성능 유지를 유지하면서도 강력한 프라이버시 보호를 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) have made releasing of synthetic images a viable approach to share data without releasing the original dataset. It has been shown that such synthetic data can be used for a variety of downstream tasks such as training classifiers that would otherwise require the original dataset to be shared. However, recent work has shown that the GAN models and their synthetically generated data can be used to infer the training set membership by an adversary who has access to the entire dataset and some auxiliary information. Current approaches to mitigate this problem (such as DPGAN) lead to dramatically poorer generated sample quality than the original non–private GANs. Here we develop a new GAN architecture (privGAN), where the generator is trained not only to cheat the discriminator but also to defend membership inference attacks. The new mechanism provides protection against this mode of attack while leading to negligible loss in downstream performances. In addition, our algorithm has been shown to explicitly prevent overfitting to the training set, which explains why our protection is so effective. The main contributions of this paper are: i) we propose a novel GAN architecture that can generate synthetic data in a privacy preserving manner without additional hyperparameter tuning and architecture selection, ii) we provide a theoretical understanding of the optimal solution of the privGAN loss function, iii) we demonstrate the effectiveness of our model against several white and black–box attacks on several benchmark datasets, iv) we demonstrate on three common benchmark datasets that synthetic images generated by privGAN lead to negligible loss in downstream performance when compared against non–private GANs.

연구 동기 및 목표

• GAN으로 생성된 합성 데이터에 대한 멤버십 추론 공격의 증가하는 위협을 해결하며, 공격자가 생성된 샘플들로부터 훈련 데이터를 재구성할 수 있는 상황을 방지한다.
• 샘플 품질이 크게 떨어지는 기존의 프라이버시 보장 GAN(예: DPGAN)의 한계를 극복한다.
• 추가적인 하이퍼파라미터 튜닝이나 아키텍처 변경 없이도 강력한 프라이버시 보장을 제공하는 GAN 아키텍처를 개발한다.
• privGAN 손실 함수의 최적 해를 이론적으로 이해하여 프라이버시 공격에 대한 강건성을 확보한다.
• 훈련 세트에 대한 과적합 방지를 통해 GAN에서 효과적인 프라이버시 보호를 달성하는 것이 핵심임을 입증한다.

제안 방법

• 생성자 품질과 멤버십 추론 공격에 대한 저항력이라는 두 가지를 동시에 최적화하는 새로운 GAN 손실 함수를 설계한다.
• 생성자의 훈련 과정에 과적합을 명시적으로 줄이는 정규화 메커니즘을 도입한다.
• 생성자가 생성한 합성 샘플이 디스criminator 뿐 아니라 멤버십 추론 분류기에게도 실제 데이터와 구분되지 않도록 훈련한다.
• 이중 목표 최적화를 사용: 생성자는 디스criminator를 속이면서 동시에 훈련 세트의 구성원으로서 탐지당할 위험을 최소화해야 한다.
• privGAN 목표를 과도한 기록( memorization )을 처벌하는 프라이버시 정규화 항을 추가한 미니맥스 게임으로 공식화한다.
• 이론적 분석을 통해 privGAN 손실 함수의 최적 해는 재구성 오차와 일반화 갭을 모두 최소화하는 분포에 해당하며, 이는 프라이버시를 향상시킨다.

실험 결과

연구 질문

• RQ1 샘플 품질이 떨어지지 않도록 하면서도 멤버십 추론 공격에 저항할 수 있는 GAN 아키텍처를 설계할 수 있는가?
• RQ2 훈련 데이터에 대한 과적합을 방지하는 것이 GAN에서 프라이버시 향상에 어떻게 기여하는가?
• RQ3 non-private GAN과 비교했을 때 privGAN 아키텍처는 최종 작업 성능을 어느 정도 유지하는가?
• RQ4 privGAN은 여러 벤치마크 데이터셋에서 화이트박스 및_BLK박스 멤버십 추론 공격에 얼마나 효과적인가?
• RQ5 privGAN의 프라이버시 이득은 일반화 능력 향상 때문인지, 아니면 다른 아키텍처나 최적화 요소 때문인가?

주요 결과

• privGAN은 CIFAR-10, CelebA, STL-10를 포함한 여러 벤치마크 데이터셋에서 화이트박스 및 블랙박스 멤버십 추론 공격에 강력한 보호를 제공한다.
• 비프라이버시 GAN과 거의 동일한 최종 성능을 유지하며, 합성 데이터에 대해 미세조정을 수행했을 때 분류기 정확도가 1% 미만으로 떨어지는 것으로 확인되었다.
• 과적합 감소와 직접적인 관련이 있음을 확인할 수 있었으며, 테스트 세트 재구성 정확도와 같은 기록 측정치가 뚜렷하게 감소하였다.
• DPGAN와 달리 privGAN은 추가적인 하이퍼파라미터 튜닝이나 아키텍처 수정이 필요 없어 쉽게 구현이 가능하다.
• 이론적 분석을 통해 privGAN 손실 함수의 최적 해는 잘 일반화되는 분포에 해당하며, 멤버십 추론에 저항한다.
• 실험 결과, 조건이 엄격한 보조 정보 가정 하에서도 privGAN은 멤버십 추론 공격 성공률을 근사 기준 수준까지 낮춘다.