[논문 리뷰] Differentially Private Synthetic Data: Applied Evaluations and Enhancements

Lucas Rosenblatt, Xiaoyan Liu외 4명|arXiv (Cornell University)|2020. 11. 11.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 23

한 줄 요약

이 논문은 네 가지의 차별적 보호를 적용한 GAN을 평가하고, 기계학습에서 합성 데이터의 유용성을 향상시키면서도 개인정보를 보호하는 앙상블 기반 방법인 QUAIL을 제안한다. 모델 성능이 비밀 보장 예산과 데이터 특성에 크게 의존하는 것으로 밝혀졌으며, PATECTGAN은 높은 예산(ε ≥ 3.0)에서, DPCTGAN은 낮은 예산(ε ≤ 1.0)에서 각각 뛰어난 성능을 보였다. QUAIL은 개인정보 보호나 통계적 유사성에 영향을 주지 않으면서도 유용성을 향상시켰다.

ABSTRACT

Machine learning practitioners frequently seek to leverage the most informative available data, without violating the data owner's privacy, when building predictive models. Differentially private data synthesis protects personal details from exposure, and allows for the training of differentially private machine learning models on privately generated datasets. But how can we effectively assess the efficacy of differentially private synthetic data? In this paper, we survey four differentially private generative adversarial networks for data synthesis. We evaluate each of them at scale on five standard tabular datasets, and in two applied industry scenarios. We benchmark with novel metrics from recent literature and other standard machine learning tools. Our results suggest some synthesizers are more applicable for different privacy budgets, and we further demonstrate complicating domain-based tradeoffs in selecting an approach. We offer experimental learning on applied machine learning scenarios with private internal data to researchers and practioners alike. In addition, we propose QUAIL, an ensemble-based modeling approach to generating synthetic data. We examine QUAIL's tradeoffs, and note circumstances in which it outperforms baseline differentially private supervised learning models under the same budget constraint.

연구 동기 및 목표

• 실제 기계학습 응용 분야에서 차별적 보장 합성 데이터 생성 방법의 효능을 평가하는 것.
• DP 합성 데이터 방법에 대한 현실적이고 대규모의 벤치마킹이 부족한 문제를 해결하는 것.
• 비밀 보장 합성 데이터의 유용성을 향상시키기 위해 앙상블 기반 개선 방법인 QUAIL을 제안하고 평가하는 것.
• 비밀 보장 예산, 데이터 유형, 후행 기계학습 작업에 따라 DP 합성기 선택에 실용적인 지침을 제공하는 것.
• 합성 데이터 품질 평가를 위해 새로운 메트릭(예: pMSE)과 표준 기계학습 메트릭(AUC-ROC, F1)을 강도 있게 시험하는 것.

제안 방법

• 다섯 개인 표준 표본 데이터셋과 두 개의 실생활 산업 데이터셋에서 네 가지 DP-GAN(DPGAN, PATE-GAN, DPCTGAN, PATECTGAN)을 벤치마크했다.
• 통계적 유사성(pMSE), 기계학습 유용성(AUC-ROC, F1), 학습 효율성 메트릭을 조합하여 모델을 평가했다.
• 차별적 보장 분류기와 DP 합성기 조합을 통해 데이터 유용성을 향상시키는 앙상블 방법인 QUAIL을 제안했다.
• 실제 데이터에 대해 DP 선형 분류기를 훈련시고, 그 예측 결과를 기반으로 합성 데이터 생성을 유도함으로써 QUAIL을 적용했다.
• 모델 간 일관된 초모수 및 비밀 보장 예산 할당을 보장하기 위해 모듈러한 평가 파이프라인을 사용했다.
• QUAIL의 유용성과 통계적 유사성에 미치는 영향을 분리하여 분석하기 위해 아블레이션 스터디를 수행했다.

실험 결과

연구 질문

• RQ1 다양한 비밀 보장 예산에서, 유용성과 통계적 유사성 사이의 최적 균형을 이루는 차별적 보장 GAN 아키텍처는 무엇인가?
• RQ2 pMSE와 같은 새로운 메트릭과 표준 기계학습 메트릭(AUC-ROC, F1) 간의 상관관계는 합성 데이터 품질 평가에 어떻게 기여하는가?
• RQ3 QUAIL 개선 기법은 개인정보 보호나 분포 충실도를 해치지 않으면서도 후행 기계학습 작업에서 합성 데이터의 유용성을 얼마나 향상시키는가?
• RQ4 차원 수, 흐าก함, 클래스 불균형 등의 데이터 특성이 실생활 응용에서 DP 합성기 성능에 어떻게 영향을 미치는가?
• RQ5 고성능 GAN 기반 합성기와 더 빠르고 단순한 방법(MWEM) 사이의 계산적 트레이드오프는 무엇인가?

주요 결과

• PATECTGAN은 고밀도, 고차원 데이터셋에서 높은 비밀 보장 예산(ε ≥ 3.0)에서 다른 GAN들보다 유용성과 통계적 유사성 측면에서 뛰어난 성능을 보였다.
• 낮은 비밀 보장 예산(ε ≤ 1.0)에서 DPCTGAN은 다른 모델들보다 더 높은 유용성을 보였지만, PATECTGAN은 더 강한 통계적 유사성을 유지했다.
• QUAIL는 평가된 모든 시나리오에서 합성 데이터의 유용성을 일관되게 향상시켰으며, F1 점수 향상을 보였지만 때로는 AUC-ROC를 감소시켰다. 이는 두 메트릭을 동시에 모니터링할 필요성을 강조한다.
• pMSE는 통계적 유사성을 잘 반영하는 신뢰할 수 있고 간결한 메트릭이었으며, 실무자들이 유용성과 분포 충실도를 균형 있게 조정하는 데 도움을 주었다.
• GAN 기반 모델의 훈련 시간은 상당히 길었으며, 특히 PATECTGAN과 DPCTGAN에서 두드러졌다. 반면 MWEM은 이산형 데이터에서 여전히 빠르고 경쟁력 있었다.
• QUAIL의 효과성은 기반의 차별적 보장 분류기의 품질에 크게 의존했으며, 이는 기본 분류기 선택이 핵심임을 시사한다.