[논문 리뷰] Private Post-GAN Boosting

Marcel Neunhoeffer, Zhiwei Steven Wu외 1명|arXiv (Cornell University)|2020. 07. 23.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 11

한 줄 요약

이 논문은 사전적 안정성과 노이즈 유도 수렴 문제로 인해 품질이 떨어지는 차별적(private) GAN의 문제를 해결하기 위해, 다양한 학습 에포크 동안 생성된 샘플을 사전적 안정성 보장하에 재가중하는 Private Multiplicative Weights 알고리즘을 사용하는 차별적(private) Post-GAN Boosting(Public PGB)을 제안한다. 이는 MNIST, US Census, Titanic 데이터셋에서 최신 기술 수준의 유틸리티를 달성하며, 총 변동 거리(total variation distance)를 0.13으로 줄이고, 표준 차별적 GAN보다 기계 학습 모델의 성능을 향상시킨다.

ABSTRACT

Differentially private GANs have proven to be a promising approach for generating realistic synthetic data without compromising the privacy of individuals. Due to the privacy-protective noise introduced in the training, the convergence of GANs becomes even more elusive, which often leads to poor utility in the output generator at the end of training. We propose Private post-GAN boosting (Private PGB), a differentially private method that combines samples produced by the sequence of generators obtained during GAN training to create a high-quality synthetic dataset. To that end, our method leverages the Private Multiplicative Weights method (Hardt and Rothblum, 2010) to reweight generated samples. We evaluate Private PGB on two dimensional toy data, MNIST images, US Census data and a standard machine learning prediction task. Our experiments show that Private PGB improves upon a standard private GAN approach across a collection of quality measures. We also provide a non-private variant of PGB that improves the data quality of standard GAN training.

연구 동기 및 목표

• 학습 불안정성과 노이즈 유도 수렴 문제로 인해 품질이 떨어지는 차별적 GAN의 낮은 유틸리티 문제를 해결하기 위해.
• GAN 학습 과정을 수정하지 않고도 합성 데이터 품질을 향상시키는 사후 처리(post-training) 방법을 개발하기 위해.
• 원칙적인 사전적 안정성 보장하에 재가중하는 방식을 사용해 고품질의 비밀 보장 합성 데이터 생성을 가능하게 하기 위해.
• 여러 생성기의 출력에 대한 혼합 분포가 최종 생성기 모델을 초월할 수 있음을 보여주기 위해.
• 표준 GAN 학습 유틸리티를 향상시키는 비사전적 비공식(non-private) 변형을 제공하기 위해.

제안 방법

• 합성 데이터 생성 목표를 모델링하기 위해, 합성 데이터 플레이어와 구분자 플레이어 사이의 이중 플레이어 제로섬 게임을 수립한다.
• 사전적 안정성 보장하에 다양한 학습 에포크에서 생성된 샘플에 대한 근사 최적 혼합 분포를 계산하기 위해 Private Multiplicative Weights(PMW) 알고리즘을 적용한다.
• 사전적 안정성 보장하에 생성된 샘플들만을 대상으로 지원을 제한함으로써 계산 복잡도를 줄여 고차원 데이터에 대한 확장성을 확보한다.
• 구분자의 평형 전략을 사용해 거부 샘플링(rejection sampling) 단계를 도입함으로써, 추가적인 비밀 보장 비용 없이도 샘플 품질을 향상시킨다.
• 차별적 안정성의 사후 처리 불변성(post-processing invariance)을 활용해 PMW 단계 이후에 안전하게 거부 샘플링을 적용한다.
• 동일한 재가중 및 거부 샘플링 프레임워크를 사용해 표준 GAN 성능을 향상시키는 비사전적 비공식(non-private) 변형으로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 차별적 GAN에서 최종 생성기보다 다양한 학습 에포크에서 생성된 생성기들의 혼합이 합성 데이터 품질을 향상시킬 수 있는가?
• RQ2 사전적 안정성 보장하에 재가중하는 메커니즘이 비밀 보장을 유지하면서도 더 높은 유틸리티를 달성할 수 있는가?
• RQ3 구분자의 평형 전략을 거부 샘플러로 사용할 경우, 비밀 보장을 해치지 않으면서도 샘플 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법이 실제 데이터셋인 US Census와 MNIST에서 일반 유틸리티 및 특정 유틸리티 측정치를 향상시킬 수 있는가?
• RQ5 이 방법의 비사전적 비공식 변형이 표준 GAN 학습 성능을 향상시킬 수 있는가?

주요 결과

• Private PGB는 1940년 US Census 합성 데이터의 인종 분포에 대해 총 변동 거리(total variation distance)를 0.58(최종 생성기 기준)에서 0.22로 감소시켜 품질 향상을 뚜렷이 보였다.
• 추가로 거부 샘플링(PGB+DRS)을 적용한 결과, 총 변동 거리는 0.13으로 더 낮아졌으며, 이는 근사 분포에 대한 뛰어난 성능을 보여주었다.
• 1940 Census 데이터셋에서 PGB는 가장 높은 일반 유틸리티 점수(pMSE 비율 2.253)를 기록했으며, DP GAN(2.357)과 DP DRS(2.313)를 모두 앞섰다.
• Titanic 데이터셋에서 PGB로 생성된 합성 데이터를 기반으로 학습한 모델은 표준 차별적 GAN 또는 DRS 출력을 사용한 경우보다 높은 정확도, ROC AUC, PR AUC 성능을 달성했다.
• PGB의 비사전적 비공식 변형은 MNIST에서 GAN 성능을 향상시켜 최종 생성기만으로 생성한 것보다 더 높은 품질의 이미지를 생성했다.
• 모든 평가된 데이터셋에서 회귀 RMSE 및 통계적 거리 등 다양한 품질 측정지표에서 일관되게 성능 향상을 보였다.