[논문 리뷰] P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model

Shun Takagi, Tsubasa Takahashi외 2명|arXiv (Cornell University)|2020. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 4

한 줄 요약

P3GM는 고차원 데이터 배포를 위한 이중 단계의 비밀 보장 생성 모델을 제안하며, 인코딩 단계에서 비밀 보장 PCA와 EM을 사용하고, 디코딩 단계에서 DP-SGD를 적용한다. 기존 최고 수준의 방법들에 비해 더 뛰어난 샘플 품질과 최종 작업에서의 유효성을 달성하며, 특히 소음 감소 최소화 조건에서 고차원 설정에서 뛰어난 성능을 보인다.

ABSTRACT

How can we release a massive volume of sensitive data while mitigating privacy risks? Privacy-preserving data synthesis enables the data holder to outsource analytical tasks to an untrusted third party. The state-of-the-art approach for this problem is to build a generative model under differential privacy, which offers a rigorous privacy guarantee. However, the existing method cannot adequately handle high dimensional data. In particular, when the input dataset contains a large number of features, the existing techniques require injecting a prohibitive amount of noise to satisfy differential privacy, which results in the outsourced data analysis meaningless. To address the above issue, this paper proposes privacy-preserving phased generative model (P3GM), which is a differentially private generative model for releasing such sensitive data. P3GM employs the two-phase learning process to make it robust against the noise, and to increase learning efficiency (e.g., easy to converge). We give theoretical analyses about the learning complexity and privacy loss in P3GM. We further experimentally evaluate our proposed method and demonstrate that P3GM significantly outperforms existing solutions. Compared with the state-of-the-art methods, our generated samples look fewer noises and closer to the original data in terms of data diversity. Besides, in several data mining tasks with synthesized data, our model outperforms the competitors in terms of accuracy.

연구 동기 및 목표

• 고차원 민감 데이터를 배포하면서도 비밀 보장을 유지하고 유효성을 확보하는 과제를 해결한다.
• 기존의 비밀 보장 생성 모델이 고차원 환경에서 과도한 노이즈를 주입하는 한계를 극복한다.
• 엄격한 비밀 보장 조건 하에서 데이터 다양성과 충실도를 유지하는 비밀 보장 생성 모델을 개발한다.
• 실제 고차원 데이터셋(예: 이미지 및 센서 트레이스)에 대한 비밀 보장 데이터 합성의 실용적 구현을 가능하게 한다.
• 모델 성능과 내성 강도를 최적화하기 위해 인코딩 및 디코딩 단계 간의 비밀 보장 예산 할당을 균형 있게 조절한다.

제안 방법

• 비밀 보장 인코딩 단계에서 이중적으로 비밀 보장 PCA(DP-PCA)와 비밀 보장 EM(DP-EM)을 사용하여 저차원 잠재 표현을 학습하는 이중 단계 학습 프로세스를 적용한다.
• 엄격한 비밀 보장 보장을 확보하기 위해 DP-PCA에 위샤르트 기반 메커니즘 대신 가우시안 기반 메커니즘을 사용한다.
• 잠재 공간에서 변분 오토에인드로이저(VAE)를 훈련하기 위해 디코딩 단계에서 비밀 보장 확률적 경사 하강법(DP-SGD)를 적용한다.
• 다중 메커니즘 간의 비밀 보장 손실을 더 정확하게 계산하기 위해 RDP 기반 비밀 보장 조합을 활용한다.
• 인코딩 및 디코딩 구성 요소 간의 노이즈 주입을 동적으로 균형 잡는 비밀 보장 예산 할당 전략을 통합한다.
• 합성 데이터의 2방향 마진 분포 충실도와 분류 유효성을 평가하기 위해 총 변동 거리와 AUROC 점수를 사용한다.

실험 결과

연구 질문

• RQ1 이중 단계 비밀 보장 생성 모델은 과도한 노이즈 주입을 최소화하면서도 고차원 데이터를 효과적으로 처리할 수 있는가?
• RQ2 샘플 품질과 최종 작업 정확도 측면에서 P3GM는 기존의 DP-VAE 및 DP-GM 방법들과 비교해 어떻게 성능을 냈는가?
• RQ3 모델 유효성을 극대화하기 위해 인코딩 및 디코딩 단계 간의 최적 비밀 보장 예산 할당은 어떻게 되는가?
• RQ4 RDP 기반 비밀 보장 조합은 기존의 표준 조합 정리에 비해 더 엄밀한 비밀 보장 계산을 가능하게 하는가?
• RQ5 P3GM는 고차원 데이터셋에서 복잡한 데이터 의존성과 마진 분포를 어느 정도 유지하는가?

주요 결과

• P3GM는 DP-VAE, DP-GM, PrivBayes에 비해 시각적으로 실제 데이터에 더 가까운 합성 샘플을 생성하며, 특히 MNIST에서 노이즈가 더 적다.
• 분류 작업에서 P3GM는 모든 경쟁자들을 앞서며, Adult 데이터셋에서 평균 AUROC 0.3867, ISOLET에서 0.3029를 기록하여 Ryan의 알고리즘에 비해 유효성 면에서 뛰어나지만, Ryan의 알고리즘이 2방향 마진 정확도에서 더 뛰어나다.
• P3GM는 고차원 데이터셋에서 뛰어난 성능을 유지하며, 5에서 100차원까지 AUROC 점수가 안정되어 있으며, 다른 방법들은 급격히 성능이 떨어진다.
• Kaggle Credit 데이터셋에서 P3GM는 총 변동 거리 0.2411을 기록하여 고차원 데이터에서 유효성 면에서 DP-GM(0.1345)과 PrivBayes(0.0082)를 모두 능가한다.
• RDP 기반 비밀 보장 조합은 기준 zCDP 및 MA 방법에 비해 더 낮은 에프실론 값을 도출하여 더 엄밀한 비밀 보장 계산을 가능하게 한다.
• P3GM의 최적 비밀 보장 예산 할당은 인코딩 단계에서 0.1에서 0.3 사이에 위치하며, 이 범위에서 성능이 최고조에 이르며, 이는 비균일한 할당이 유효성 향상에 기여함을 시사한다.