[논문 리뷰] Differentially Private Releasing via Deep Generative Model (Technical Report)

Xinyang Zhang, Shouling Ji외 1명|arXiv (Cornell University)|2018. 01. 05.

Privacy-Preserving Technologies in Data인용 수 40

한 줄 요약

dp-GAN은 프라이버시를 차등적으로 보장하는 심층 생성 모델을 학습시켜 프라이빗 DP-학습 GAN을 내보냄으로써 의미적으로 풍부한 데이터를 공개하고, 프라이시 보장 하에 무한한 합성 데이터를 가능하게 한다.

ABSTRACT

Privacy-preserving releasing of complex data (e.g., image, text, audio) represents a long-standing challenge for the data mining research community. Due to rich semantics of the data and lack of a priori knowledge about the analysis task, excessive sanitization is often necessary to ensure privacy, leading to significant loss of the data utility. In this paper, we present dp-GAN, a general private releasing framework for semantic-rich data. Instead of sanitizing and then releasing the data, the data curator publishes a deep generative model which is trained using the original data in a differentially private manner; with the generative model, the analyst is able to produce an unlimited amount of synthetic data for arbitrary analysis tasks. In contrast of alternative solutions, dp-GAN highlights a set of key features: (i) it provides theoretical privacy guarantee via enforcing the differential privacy principle; (ii) it retains desirable utility in the released model, enabling a variety of otherwise impossible analyses; and (iii) most importantly, it achieves practical training scalability and stability by employing multi-fold optimization strategies. Through extensive empirical evaluation on benchmark datasets and analyses, we validate the efficacy of dp-GAN.

연구 동기 및 목표

• 과도한 정화 없이 의미적으로 풍부한 데이터를 프라이버시를 보장하며 공개하는 도전과제를 다룹니다.
• 차등 프라이시시 하에서 생성 모델을 학습시켜 무제한 데이터를 합성하는 프레임워크를 제안합니다.
• 다양한 분석에 유용성을 유지하면서 프라이버시 보장을 확보합니다.
• 최적화된 학습 전략을 통해 프라이빗 GAN의 학습 안정성 및 확장성을 향상시킵니다.

제안 방법

• 향상된 Wasserstein GAN과 가우시안 DP 노이즈를 판별기 훈련에 추가하여 dp-GAN을 구축합니다.
• 생성기가 직접 DP 누출에 포함되지 않도록 유지하면서 판별기 DP-훈련에 기울기 클리핑과 가우시안 노이즈를 사용합니다.
• 모멘트 계정화와 서브샘플링을 사용하는 프라이버시 어카운턴트를 통해 누적 프라이버시 손실을 추적합니다.
• 안정성과 유용성을 향상시키기 위해 파라미터 그룹화, 적응 클리핑, 워밍 스타트 등의 다중 최적화를 채택합니다.
• 선택적으로 초기화 및 프라이빗 학습을 안내하기 위해 소량의 공개 데이터를 활용합니다 (웜 스타트).
• 이론적 DP 보장을 제공합니다: 알고리즘 1/알고리즘 3는 적절한 설정에서 (O(q ε √t), δ)-DP입니다.

실험 결과

연구 질문

• RQ1 깊은 생성 모델이 차등 프라이버시로 학습될 때 다양한 분석에 유용한 합성 데이터를 제공할 수 있는가?
• RQ2 개인정보를 보호하고 데이터 유용성을 유지하면서 GAN 훈련에 DP를 통합하려면 어떻게 해야 하는가?
• RQ3 DP-GAN 학습의 안정성과 확장성을 개선하는 최적화 방법은 무엇인가?
• RQ4 프라이버시 보존 합성 데이터가 반감기 분류와 같은 작업에 유용성을 유지하는가?
• RQ5 dp-GAN을 사용한 실제 이미지 데이터 셋에서 프라이버시-유용성의 실용적 트레이드오프는 무엇인가?

주요 결과

• dp-GAN은 DP 제약 하에서 MNIST, LSUN-U, LSUN-L, CelebA 데이터셋에서 시각적으로 선명한 합성 이미지를 생성한다.
• 합성 데이터는 프라이버시 제약 없이 실 데이터에 근접한/Inception 점수와 프라이버시 비제한 일반 GAN과 유사한 수준의 성능을 보인다(정성적/정량적 분석에 보고됨).
• 프레임워크가 유사지도 학습 분류와 같은 태스크에서 유용성을 보존한 채 사용 가능하다.
• 고급 최적화(가중치 클러스터링, 적응 클리핑, 워밍 스타트)가 DP 하에서 학습 안정성과 수렴을 크게 향상시킨다.
• 모먼트 계정화와 서브샘플링을 이용한 프라이버시 어카운턴트가 학습 프로세스에 대해 (ε, δ)-DP 보장을 제공한다.