[논문 리뷰] privGAN: Protecting GANs from membership inference attacks at low cost

Sumit Mukherjee, Yixi Xu외 2명|arXiv (Cornell University)|2019. 12. 31.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 11

한 줄 요약

privGAN은 훈련 데이터의 기억 현상을 줄임으로써 소속성 개인정보를 향상시키기 위해 생성자를 동시에 판별기와 전용 적대자로부터 속이도록 훈련하는 새로운 GAN 아키텍처이다. 비공개 GAN과 비교해 표본 품질과 후행 작업 성능의 열등성이 최소화되면서 화이트박스 및_BLK박스 소속성 추론 공격에 강력한 보호를 제공한다.

ABSTRACT

Generative Adversarial Networks (GANs) have made releasing of synthetic images a viable approach to share data without releasing the original dataset. It has been shown that such synthetic data can be used for a variety of downstream tasks such as training classifiers that would otherwise require the original dataset to be shared. However, recent work has shown that the GAN models and their synthetically generated data can be used to infer the training set membership by an adversary who has access to the entire dataset and some auxiliary information. Current approaches to mitigate this problem (such as DPGAN) lead to dramatically poorer generated sample quality than the original non--private GANs. Here we develop a new GAN architecture (privGAN), where the generator is trained not only to cheat the discriminator but also to defend membership inference attacks. The new mechanism provides protection against this mode of attack while leading to negligible loss in downstream performances. In addition, our algorithm has been shown to explicitly prevent overfitting to the training set, which explains why our protection is so effective. The main contributions of this paper are: i) we propose a novel GAN architecture that can generate synthetic data in a privacy preserving manner without additional hyperparameter tuning and architecture selection, ii) we provide a theoretical understanding of the optimal solution of the privGAN loss function, iii) we demonstrate the effectiveness of our model against several white and black--box attacks on several benchmark datasets, iv) we demonstrate on three common benchmark datasets that synthetic images generated by privGAN lead to negligible loss in downstream performance when compared against non--private GANs.

연구 동기 및 목표

• 생성 모델이 훈련 데이터의 기억 현상을 악용하는 소속성 추론 공격에 취약한 문제를 해결하기 위해.
• 고품질의 합성 데이터 생성을 유지하면서 후행 작업 유용성을 훼손하지 않는 개인정보 보호 GAN 아키텍처를 개발하기 위해.
• 최소한의 하이퍼파라미터 튜닝과 아키텍처 변경 없이 실용적인 방어 메커니즘을 제공하기 위해.
• privGAN이 기억 현상을 줄이고 소속성 개인정보를 향상시킴을 이론적·실험적으로 검증하기 위해.
• 최신 공격 기법에 대비해 DPGAN 및 PATE-GAN과 같은 기존 방어 기법보다 우수한 표본 품질 유지 능력을 보여주기 위해.

제안 방법

• 생성자가 판별기와 별도의 소속성 추론 적대자 양쪽을 속이도록 훈련하는 이중 적대적 훈련 구조를 도입한다.
• 훈련 샘플의 기억 현상을 방지하는 정규화 항을 포함한 개인 정보 보호 GAN 손실 함수를 제안하며, 이는 하이퍼파라미터 λ와 N로 제어된다.
• 다중 생성자-판별기 쌍을 동시에 훈련하며, 적대자는 실재 및 합성 샘플을 소속성 상태에 따라 구분하도록 학습한다.
• 강력한 최악의 상황을 시뮬레이션하기 위해 오라클 스타일의 소속성 추론 공격을 프록시로 사용해 방어 성능을 평가한다.
• 이미지 데이터셋에 프레임워크를 적용하고, FID 및 후행 분류 정확도와 같은 표준 지표를 사용해 개인정보 보호와 유용성의 상호 균형을 평가한다.
• 특정 용도에 맞게 개인정보 보호와 유용성의 균형을 맞추기 위해 λ와 N에 대한 그리드 서치를 수행한다.

실험 결과

연구 질문

• RQ1 고품질의 합성 데이터를 생성하면서 동시에 소속성 추론 공격에 저항할 수 있는 GAN 아키텍처를 설계할 수 있는가?
• RQ2 privGAN의 개인 정보 보호 손실 함수는 기존 GAN과 비교해 훈련 데이터의 기억 현상에 어떤 영향을 미치는가?
• RQ3 non-private GAN과 비교해 privGAN은 후행 모델 성능(예: 분류 정확도)을 어느 정도 유지하는가?
• RQ4 DPGAN 및 PATE-GAN과 같은 기존 방어 기법과 비교해 privGAN은 개인정보-유용성 균형에서 어떤 성능을 보이는가?
• RQ5 privGAN의 하이퍼파라미터 λ와 N는 모델의 소속성 추론 공격에 대한 저항력과 이론적으로 어떤 관계를 가지는가?

주요 결과

• privGAN은 판별기 대상 화이트박스 소속성 추론 공격에 거의 완벽한 보호를 제공하며, 비공개 GAN과 비교해 공격 정확도가 크게 떨어진다.
• 후행 성능 손실가 극히 미미하다: benchmark 데이터셋에서 privGAN이 생성한 합성 데이터에 대한 분류 정확도는 비공개 GAN과 유사하다.
• 개인 정보 보호 손실 함수는 생성자에게 훈련 샘플의 기억 현상을 줄이도록 효과적으로 정규화하며, 이는 향상된 개인정보 보호 성능의 이유를 설명한다.
• 이론적 분석 결과, 충분히 큰 데이터가 존재할 경우 privGAN은 비공개 GAN과 동일한 최적의 해에 수렴함을 보여주며, 데이터 분포 학습의 본질적 열등성이 없음을 입증한다.
• 실험 결과, privGAN은 DPGAN 및 PATE-GAN보다 표본 품질 유지 능력이 뛰어나면서도 더 강력한 개인정보 보호 보장을 제공함을 입증한다.
• λ와 N의 하이퍼파라미터 튜닝을 통해 사용자가 개인정보 보호와 유용성 간 균형을 조정할 수 있으며, 그리드 서치를 통해 용도별 최적화가 가능하다.