[논문 리뷰] Differentially Private Releasing via Deep Generative Model

Xinyang Zhang, Shouling Ji외 1명|arXiv (Cornell University)|2018. 01. 05.

Privacy-Preserving Technologies in Data참고 문헌 4인용 수 53

한 줄 요약

이 논문은 딥 생성 모델을 비밀리에 훈련시켜 원본 데이터를 정제하는 대신, 비밀리에 훈련된 딥 생성 모델을 배포하는 dp-GAN이라는 차별적 비밀리 생성 모델링 프레임워크를 제안한다. 이는 다양한 분석을 위한 무제한의 합성 데이터 생성을 가능하게 하며, 유용성과 이론적 비밀리 보장을 동시에 확보한다. 이는 스케일링 가능한 다중 최적화 전략을 통해 달성된다.

ABSTRACT

Privacy-preserving releasing of complex data (e.g., image, text, audio) represents a long-standing challenge for the data mining research community. Due to rich semantics of the data and lack of a priori knowledge about the analysis task, excessive sanitization is often necessary to ensure privacy, leading to significant loss of the data utility. In this paper, we present dp-GAN, a general private releasing framework for semantic-rich data. Instead of sanitizing and then releasing the data, the data curator publishes a deep generative model which is trained using the original data in a differentially private manner; with the generative model, the analyst is able to produce an unlimited amount of synthetic data for arbitrary analysis tasks. In contrast of alternative solutions, dp-GAN highlights a set of key features: (i) it provides theoretical privacy guarantee via enforcing the differential privacy principle; (ii) it retains desirable utility in the released model, enabling a variety of otherwise impossible analyses; and (iii) most importantly, it achieves practical training scalability and stability by employing multi-fold optimization strategies. Through extensive empirical evaluation on benchmark datasets and analyses, we validate the efficacy of dp-GAN.

연구 동기 및 목표

• 복잡하고 의미적으로 풍부한 데이터(예: 이미지, 텍스트)를 배포하면서도 비밀리 보장과 데이터 유용성을 유지하는 데 도전하는 것.
• 과도하게 보호되어 유용성이 과도하게 손실되는 전통적인 정제 방법의 한계를 극복하는 것.
• 생성 모델링의 맥락에서 차별적 비밀리 보장을 이론적으로 기반한 보장 제공.
• 실세계 데이터 워크로드를 위한 스케일링 가능하고 안정적인 비밀리 생성 모델 훈련을 가능하게 하는 것.
• 원본 데이터나 정제된 데이터를 배포하는 대신 단일 비밀리 생성 모델을 배포하여 다양한 후행 분석 작업을 지원하는 것.

제안 방법

• 데이터 관리자가 원본 데이터를 기반으로 딥 생성 모델(예: GAN)을 차별적 비밀리 최적화 기법을 사용하여 훈련시킨다.
• 모델의 기억력 제한을 위해 클리핑된 기울기 또는 기울기 클리핑과 같은 노이즈 주입 메커니즘을 통해 훈련 중에 차별적 비밀리 보장을 강제한다.
• 모델의 수렴성 향상과 안정성 향상을 위해 다중 최적화 전략을 적용하여 모드 붕괴 위험을 줄인다.
• 훈련된 생성 모델을 배포하여 분석가가 다양한 분석 작업을 위해 무제한의 합성 데이터를 샘플링할 수 있도록 한다.
• 데이터 배포와 분석을 분리함으로써, 공식적인 비밀리 보장을 갖춘 유연하고 작업에 종속되지 않는 데이터 생성을 가능하게 한다.
• 각 분석 작업마다 정제를 수행하는 대신, 비밀리 생성 모델을 신뢰할 수 있는 합성 데이터 소스로 활용함으로써 이를 회피한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델을 고도로 유용한 후행 작업을 위해 차별적 비밀리로 훈련시킬 수 있는가?
• RQ2 제안된 다중 최적화 전략은 비밀리 생성 모델링에서 훈련 안정성과 스케일링을 어떻게 향상시키는가?
• RQ3 복잡한 데이터 영역에서 전통적인 정제 방법에 비해 dp-GAN은 데이터 유용성을 어느 정도 유지하는가?
• RQ4 재훈련이나 재비밀리화 없이도 배포된 생성 모델이 다양한 분석 작업을 지원할 수 있는가?
• RQ5 제안된 프레임워크에서 비밀리 예산, 모델 유용성, 훈련 안정성 간의 상호 상충 관계는 어떠한가?

주요 결과

• dp-GAN은 생성 모델 훈련 중에 차별적 비밀리를 강제하여 강력한 이론적 비밀리 보장을 달성한다.
• 이 프레임워크는 높은 데이터 유용성을 유지하여, 기존의 과도하게 정제된 데이터로는 불가능한 다양한 후행 분석을 가능하게 한다.
• 다중 최적화 전략은 훈련 안정성과 스케일링을 크게 향상시켜, 복잡한 데이터에 대한 비밀리 생성 모델링을 실용적으로 만들었다.
• 기준 데이터셋에 대한 실증적 평가 결과, dp-GAN은 비밀리-유용성 트레이드오프와 모델 정밀도 측면에서 다른 접근 방식을 능가함을 확인했다.
• 배포된 생성 모델은 무제한의 합성 데이터 생성을 가능하게 하여, 추가적인 비밀리 오버헤드 없이 임의의 분석 작업을 지원한다.
• 과도한 데이터 정제가 필요로 하는 것을 줄여, 합성 출력물의 풍부한 의미적 구조를 유지한다.