[논문 리뷰] Differentially Private Generative Adversarial Network

Liyang Xie, Kaixiang Lin외 3명|arXiv (Cornell University)|2018. 02. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 313

한 줄 요약

DPGAN은 GAN의 학습 내에서 그래디언트 수준의 노이즈를 추가하여 차등 프라이버시를 제공하고, 학습 데이터를 보호하면서 높은 품질의 샘플을 생성합니다.

ABSTRACT

Generative Adversarial Network (GAN) and its variants have recently attracted intensive research interests due to their elegant theoretical foundation and excellent empirical performance as generative models. These tools provide a promising direction in the studies where data availability is limited. One common issue in GANs is that the density of the learned generative distribution could concentrate on the training data points, meaning that they can easily remember training samples due to the high model complexity of deep networks. This becomes a major concern when GANs are applied to private or sensitive data such as patient medical records, and the concentration of distribution may divulge critical patient information. To address this issue, in this paper we propose a differentially private GAN (DPGAN) model, in which we achieve differential privacy in GANs by adding carefully designed noise to gradients during the learning procedure. We provide rigorous proof for the privacy guarantee, as well as comprehensive empirical evidence to support our analysis, where we demonstrate that our method can generate high quality data points at a reasonable privacy level.

연구 동기 및 목표

• 의료와 같이 민감한 영역에서 GAN으로 생성된 데이터를 공유할 때의 프라이버시 문제를 제기합니다.
• GAN 학습 중 공식적인 차등 프라이버시 보장을 제공하는 DP-GAN 프레임워크를 제안합니다.
• 그래디언트 수준의 노이즈 추가와 판별기 가중치 클리핑으로 프라이버시를 달성할 수 있음을 보여줍니다.
• DP-GAN이 합리적인 프라이버시 예산에서 벤치마크를 통해 고품질 데이터를 생성할 수 있음을 시연합니다.

제안 방법

• Wasserstein GAN (WGAN) 프레임워크를 채택하고 신중하게 설계된 그래디언트 노이즈와 클리핑을 추가합니다.
• 프라이버시 손실을 한정하고 ε, δ 보장을 도출하기 위해 모먼트 어카운트를 사용합니다.
• 판별기 가중치를 클립하여 그래디언트 노름을 한정하고 그래디언트 추정에 가우시안 노이즈를 추가합니다.
• 노이즈를 사용한 판별기 학습이 (ε, δ)-차등 프라이버시를 만족하고 포스트 처리(post-processing)가 개인 정보 보호된 생성기 매개변수를 보장함을 증명합니다.
• 다양한 ε 값으로 MNIST와 MIMIC-III에서 실험을 통해 프라이버시 보장을 시연합니다.

실험 결과

연구 질문

• RQ1 DP-GAN 프레임워크가 학습 중에 공식적인 차등 프라이버시 보장을 제공할 수 있는가?
• RQ2 그래디언트 수준의 노 noise 가 프라이버시 예산 전반에 걸친 생성 데이터의 품질에 어떤 영향을 미치는가?
• RQ3 DP-GAN에서 프라이버시 수준(ε)과 생성 성능 사이의 관계는 어떤가?
• RQ4 DP 제약 하에서 생성기가 훈련 샘플을 기억하지 않고 유용한 데이터를 생성할 수 있는가?

주요 결과

• DPGAN은 학습 데이터를 보호하면서 합리적인 프라이버시 수준에서 고품질 데이터 포인트를 생성할 수 있다.
• Wasserstein 거리는 학습 중 수렴하고 더 강한 프라이버시(더 많은 노이즈)에서 더 많이 흔들린다.
• 생성 데이터는 ε를 달리하는 경우 이웃 이웃 비교를 통해 학습 샘플과 구분되는 것으로 나타난다.
• MNIST에서 생성 데이터를 사용한 분류 작업의 성능은 노이즈로 인해 더 강한 프라이버시(작은 ε)일수록 저하된다.
• 프레임워크는 서로 다른 네트워크 구조와 데이터셋(MNIST와 MIMIC-III)에도 일반화된다.