[논문 리뷰] PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning

Seng Pei Liew, Tsubasa Takahashi외 1명|arXiv (Cornell University)|2021. 06. 08.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 5

한 줄 요약

PEARL은 개인 정보 보호 임bedding과 적대적 복원 학습을 사용하여, 비용이 없는 훈련 반복 횟수를 허용하는 차별적 비공식적 프레임워크를 제안한다. 특성 함수 표현과 개인 정보 보호 기반의 비평가를 활용하여 실용적인 개인 정보 보호 수준(ε ≈ 1)에서 고품질의 합성 데이터를 생성하며, 기울기 정규화 및 DP-MERF보다 영상 및 표본 기반 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a new framework of synthesizing data using deep generative models in a differentially private manner. Within our framework, sensitive data are sanitized with rigorous privacy guarantees in a one-shot fashion, such that training deep generative models is possible without re-using the original data. Hence, no extra privacy costs or model constraints are incurred, in contrast to popular approaches such as Differentially Private Stochastic Gradient Descent (DP-SGD), which, among other issues, causes degradation in privacy guarantees as the training iteration increases. We demonstrate a realization of our framework by making use of the characteristic function and an adversarial re-weighting objective, which are of independent interest as well. Our proposal has theoretical guarantees of performance, and empirical evaluations on multiple datasets show that our approach outperforms other methods at reasonable levels of privacy.

연구 동기 및 목표

• 깊은 생성 모델에서 기울기 정규화의 한계를 해결하기 위해, 훈련 반복 횟수에 따라 개인 정보 보호 수준이 악화되는 문제를 해결한다.
• DP-MERF의 고정된 표현 제약을 극복하여 모델의 일반화 능력과 학습 용량을 향상시킨다.
• 반복적인 개인 정보 보호 비용 없이 개인 정보 보호 기반 데이터 합성과 강력한 복원 능력을 갖춘 프레임워크를 개발한다.
• 기존 방법이 실패하는 의미 있는 개인 정보 보호 수준(ε ≈ 1)에서 고품질의 합성 데이터를 생성한다.
• 추가 개인 정보 보호 예산 없이 샘플링 전략을 최적화하는 개인 정보 보호 기반의 비평가를 도입한다.

제안 방법

• 데이터의 특성 함수(CF)를 사용하여 개인 정보 보호 기반 임베딩을 구성하며, 기울기 정규화를 통해 민감한 정보를 보호한다.
• 생성자와 비평가를 동시에 훈련하기 위해 최소-최대 최적화 목표를 도입하여, 실제(정규화된) 데이터와 생성된 데이터 간의 CF 공간에서의 이질성을 최소화한다.
• 목표 함수는 다음과 같이 정의된다: min_θ max_ω ∑(i=1 to k) [ω(t_i)/ω₀(t_i)] |Φ̃_Pr(t_i) - Φ̂_Qθ(t_i)|², 원본 데이터에 재접근하지 않고도 적대적 훈련을 가능하게 한다.
• 개인 정보 보호 기반 비평가가 샘플링된 주파수를 재가중하여 임베딩 표현을 최적화함으로써 추가 개인 정보 보호 비용을 피한다.
• 프레임워크는 데이터 정규화와 모델 훈련을 분리하여, 고정된 개인 정보 보호 예산으로 무제한 훈련 반복을 허용한다.
• CF 투영을 위한 주파수의 확률적 샘플링을 사용하며, 비평가가 최적의 샘플링 분포 선택을 안내한다.

실험 결과

연구 질문

• RQ1 반복적인 개인 정보 보호 비용 감소 없이, 개인 정보 보호 기반의 딥 생성 모델을 훈련시킬 수 있는가?
• RQ2 특성 함수 기반 개인 정보 보호 임베딩이 차별적 비공식적으로 고해상도 데이터 복원을 가능하게 하는가?
• RQ3 개인 정보 보호 기반 비평가가 추가 개인 정보 보호 예산 없이 샘플링 전략을 최적화함으로써 합성 데이터 품질을 향상시키는가?
• RQ4 기존 방법이 실패하는 ε ≈ 1 수준에서 PEARL이 고품질의 합성 데이터를 생성할 수 있는가?
• RQ5 FID, KID 및 후속 작업 성능 측면에서 PEARL은 기울기 정규화 및 DP-MERF와 어떻게 비교되는가?

주요 결과

• ε = 1에서 PEARL은 DP-MERF 및 기울기 정규화 모델(DPGAN, DPCGAN 등)보다 FID 및 KID 점수에서 뛰어난 성능을 보이며, FID 점수 향상 최대 20%를 기록한다.
• 개인 정보 보호 기반 비평가의 포함으로 성능 향상이 뚜렷하게 나타나, 비평가 없이 PEARL을 사용한 경우 대비 FID 점수 15% 감소를 기록한다.
• (ε, δ) = (1, 10⁻⁵) 조건에서 Adult 데이터셋에서 PEARL은 평균 ROC(0.721 ± 0.035) 및 PRC(0.618 ± 0.033)를 기록했으며, 실제 데이터(ROC: 0.765, PRC: 0.654)에 비해 DP-MERF보다 더 가까운 성능을 보였다.
• 히스토GRAM 분석 결과, PEARL은 DP-MERF에 비해 '나이' 및 범주형 특성에서 데이터 모드와 추세를 더 잘 포착한다.
• 이론적 분석을 통해 연속성, 미분 가능성 및 약한 위상 수렴이 확인되어 안정적인 훈련을 뒷받침한다.
• 개인 정보 보호 기반 샘플링 전략은 渐近적으로 일관되며, 개인 정보 보호 예산 손실 없이 장기적 안정성을 보장한다.