[논문 리뷰] RDP-GAN: A Rényi-Differential Privacy based Generative Adversarial Network

Chuan Ma, Jun Li외 5명|arXiv (Cornell University)|2020. 07. 04.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 12

한 줄 요약

이 논문은 감정 데이터나 금융 기록과 같은 민감한 데이터를 학습하는 데 사용되는 생성적 적대 신경망(GAN)의 기밀 유출 위험을 완화하기 위해 RDP-GAN을 제안한다. RDP-GAN은 훈련 중 디스 criminator의 손실 함수에 노이즈를 주입함으로써 레니-차별적 프라이버시(Rényi-differential privacy, RDP)를 달성한다. 서브샘플링 및 반복 훈련 하에서의 정밀한 프라이버시 손실 유도와 적응형 노이즈 튜닝 메커니즘을 도입함으로써, 기존의 기울기 기반 DP-GAN보다 훨씬 뛰어난 프라이버시 보호 성능을 유지를 하면서도 높은 생성 품질을 유지한다.

ABSTRACT

Generative adversarial network (GAN) has attracted increasing attention recently owing to its impressive ability to generate realistic samples with high privacy protection. Without directly interactive with training examples, the generative model can be fully used to estimate the underlying distribution of an original dataset while the discriminative model can examine the quality of the generated samples by comparing the label values with the training examples. However, when GANs are applied on sensitive or private training examples, such as medical or financial records, it is still probable to divulge individuals' sensitive and private information. To mitigate this information leakage and construct a private GAN, in this work we propose a Rényi-differentially private-GAN (RDP-GAN), which achieves differential privacy (DP) in a GAN by carefully adding random noises on the value of the loss function during training. Moreover, we derive the analytical results of the total privacy loss under the subsampling method and cumulated iterations, which show its effectiveness on the privacy budget allocation. In addition, in order to mitigate the negative impact brought by the injecting noise, we enhance the proposed algorithm by adding an adaptive noise tuning step, which will change the volume of added noise according to the testing accuracy. Through extensive experimental results, we verify that the proposed algorithm can achieve a better privacy level while producing high-quality samples compared with a benchmark DP-GAN scheme based on noise perturbation on training gradients.

연구 동기 및 목표

• 의료 또는 금융 기록과 같은 민감한 데이터를 학습하는 GAN에서의 기밀 유출 위험을 해결하기 위해.
• 기존의 차별적 프라이버시가 아닌 레니-차별적 프라이버시(Rényi-differential privacy, RDP)를 활용하여 표준 DP-GAN보다 더 강력한 기밀 보장을 달성하기 위해.
• 서브샘플링 및 다중 훈련 반복에 따른 분석적 프라이버시 예산 할당을 도출하기 위해.
• 노이즈 주입으로 인한 성능 저하를 적응형 노이즈 튜닝 메커니즘을 통해 완화하기 위해.

제안 방법

• 훈련 중 디스 criminator의 손실 함수에 무작위 노이즈를 직접 주입하여 레니-차별적 프라이버시(Rényi-differential privacy, RDP)를 구현한다.
• RDP 조합 정리(Composition Theorems)를 사용하여 서브샘플링 및 누적 훈련 반복 수에 따른 총 프라이버시 손실에 대한 분석적 표현을 유도한다.
• 후처리 정리(Post-processing Theorem)를 적용하여 생성자(generator)가 차별적 프라이버시를 가진 디스 criminator로부터 프라이버시 보장을 상속받도록 보장한다.
• 실시간 테스트 정확도를 기반으로 노이즈 분산을 동적으로 조정하는 적응형 노이즈 튜닝 단계를 도입하여 프라이버시와 생성 품질의 균형을 맞춘다.
• RDP 조합 프레임워크를 사용하여 이웃 데이터셋 하에서 손실 함수 비율의 RDP 분산을 기반으로 프라이버시 경계를 계산한다.
• RDP 분산을 유계하고 분석적 폐쇄형 프라이버시 예산을 도출하기 위해 수학적 부등식과 급수 전개를 일련로 활용한다.

실험 결과

연구 질문

• RQ1 기울기 대신 디스 criminator의 손실 함수에 노이즈를 주입하는 것이 GAN에서 더 나은 프라이버시-유용성 트레이드오프를 달성할 수 있는가?
• RQ2 서브샘플링 및 다중 훈련 반복 조건 하에서 GAN 환경에서 총 프라이버시 손실을 분석적으로 계산할 수 있는가?
• RQ3 적응형 노이즈 튜닝이 강력한 프라이버시 수준에서도 높은 품질의 샘플 생성을 유지하는 데 미치는 영향은 무엇인가?
• RQ4 RDP-GAN은 기울기 흐림 기반 DP-GAN과 비교해 프라이버시 예산과 샘플 정밀도 측면에서 어떻게 다른가?

주요 결과

• RDP 조합을 활용함으로써 RDP-GAN은 표준 DP-GAN보다 더 날카운 프라이버시 예산 경계를 달성하여 더 나은 프라이버시-유용성 트레이드오프를 가능하게 한다.
• 서브샘플링 및 반복 훈련 하에서의 프라이버시 손실 분석 유도를 통해 훈련 단계에 걸쳐 정밀한 프라이버시 예산 할당이 가능해진다.
• 적응형 노이즈 튜닝 메커니즘이 노이즈 주입의 부정적 영향을 줄여, 강력한 프라이버시 수준에서도 높은 품질의 샘플 생성을 유지한다.
• 실증 결과에 따르면, RDP-GAN은 특히 높은 프라이버시 제약 조건 하에서 벤치마크 DP-GAN보다 프라이버시 보호 성능과 샘플 품질 측면에서 뛰어나다.
• 이론적 분석을 통해 생성자가 후처리 정리에 의해 차별적 프라이버시를 가진 디스 criminator로부터 프라이버시 보장을 상속받는 것으로 확인되었다.