[논문 리뷰] Really Useful Synthetic Data -- A Framework to Evaluate the Quality of Differentially Private Synthetic Data

Christian Arnold, Marcel Neunhoeffer|arXiv (Cornell University)|2020. 04. 16.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 18

한 줄 요약

이 논문은 응용 연구자 관점에서 비밀리에 개인 정보를 보호하는 합성 데이터의 품질을 평가하기 위한 종합적인 벤치마크 프레임워크를 제안한다. 이 프레임워크는 분포 유사성과 작업별 성능을 모두 측정하며, 기준선 DP-GAN을 사용해 9개의 지표에 걸쳐 정량적 점수를 설정함으로써, 이산 변수, 구조적 영점, 누락 데이터 등의 실제 데이터 과제에서의 비밀리에 개인 정보를 보호하는 품질 간 상호 조절의 기초 성능 수준을 제시한다.

ABSTRACT

Recent advances in generating synthetic data that allow to add principled ways of protecting privacy -- such as Differential Privacy -- are a crucial step in sharing statistical information in a privacy preserving way. But while the focus has been on privacy guarantees, the resulting private synthetic data is only useful if it still carries statistical information from the original data. To further optimise the inherent trade-off between data privacy and data quality, it is necessary to think closely about the latter. What is it that data analysts want? Acknowledging that data quality is a subjective concept, we develop a framework to evaluate the quality of differentially private synthetic data from an applied researcher's perspective. Data quality can be measured along two dimensions. First, quality of synthetic data can be evaluated against training data or against an underlying population. Second, the quality of synthetic data depends on general similarity of distributions or specific tasks such as inference or prediction. It is clear that accommodating all goals at once is a formidable challenge. We invite the academic community to jointly advance the privacy-quality frontier.

연구 동기 및 목표

• 비밀리에 개인 정보를 보호하는 합성 데이터의 유효성 평가에 있어 비밀리 보호 보장 이외의 격차를 해소하기 위해.
• 응용 연구자 관점에서 데이터 품질을 정의하며, 분포 유사성과 작업별 성능 양쪽 모두에 초점을 맞추기 위해.
• 실제 데이터 과제(예: 이산 변수, 구조적 영점, 누락 데이터, 중첩 구조)를 반영한 표준화된 벤치마크를 설정하여 합성 데이터 품질을 평가하기 위해.
• 다양한 합성 데이터 생성 방법 간 비교를 지원하는 통합적이고 확장 가능한 평가 프레임워크를 제공하기 위해.
• 다양한 비밀리 보호 예산과 학습 데이터 크기에서 비밀리에 개인 정보를 보호하는 합성 데이터에 대한 체계적이고 재현 가능한 평가를 가능하게 하여 비밀리 보호-품질 경계를 진전시키기 위해.

제안 방법

• 실제 데이터 과제를 반영하는 9개의 데이터 생성 프로세스로 구성된 벤치마크 세트를 설계한다: 이산 및 연속적 속성, 구조적 영점, 누락 데이터, 중첩된 데이터 구조.
• 3개의 완전 연결 히든 레이어(256, 128, 128개 뉴런), Leaky ReLU 활성화 함수, 생성자에서 50% 드롭아웃을 사용한 DP-GAN을 구현한다.
• 이산 속성에서의 미분 가능 샘플링을 위해 Gumbel-Softmax를 사용하고, 비밀리 보호 계산을 위해 Moments Accountant를 사용한 DP-Adam을 적용한다 (ε=1, δ=5×10⁻⁵).
• 10개의 독립적인 학습 세트(각각 10,000개 샘플)에 대해 10개의 DP-GAN을 훈련시고, 각 모델당 10개의 합성 데이터 세트를 생성하여 총 1,000개의 합성 데이터 세트를 확보한다.
• 품질 평가를 두 차원으로 수행한다: (1) 훈련 데이터 또는 인구집단에 대한 유사성(워샤르슈타인 거리, pMSE, 공분산 비율, 계수 편향을 통한), (2) 일반화 능력(카버리지 비율, 예측 RMSE를 통한).
• 기준 성능에 상대적으로 점수를 정규화하여 해석 가능성을 확보하며, 최고 점수는 0으로, 최악 점수는 실현된 점수보다 10% 높게 설정한다.

실험 결과

연구 질문

• RQ1 응용 연구자 관점에서 비밀리에 개인 정보를 보호하는 합성 데이터의 품질을 어떻게 체계적으로 측정할 수 있는가?
• RQ2 기준선 DP-GAN이 다양한 비밀리 보호 예산과 데이터 과제에서 통계적 성질(예: 분포, 공분산, 계수 추정치)을 얼마나 잘 유지하는가?
• RQ3 비밀리에 개인 정보를 보호하는 합성 데이터가 새로운 데이터나 인구 집단 수준의 추론 작업에 얼마나 잘 일반화되는가?
• RQ4 실제 데이터 과제에서 평가했을 때 현재의 DP 합성 데이터 방법의 상대적 강점과 약점은 무엇인가?
• RQ5 통합된 벤치마크 프레임워크는 다양한 데이터 유형과 비밀리 보호 수준에서 비밀리에 개인 정보를 보호하는 데이터 합성기 간 공정하고 재현 가능하며 비교 가능한 평가를 가능하게 하는가?

주요 결과

• 기준선 DP-GAN은 훈련 워샤르슈타인 거리 비율 10.09과 훈련 pMSE 비율 3,522.96를 기록하여 원본 데이터에서의 분포 편차가 심각함을 시사한다.
• 일반화 성능은 워샤르슈타인 거리 비율 10.22와 pMSE 비율 3,505.01을 기록하여 기저 인구집단으로의 일반화 능력이 제한됨을 시사한다.
• 일반화에 대한 커버리지 비율은 89%이며, 이는 진짜 데이터 범위의 11%가 합성 데이터에 의해 포괄되지 않음을 의미한다.
• 일반화에서 계수 편향은 119.93%에 달하여 합성 데이터가 회귀 계수 추정치를 매우 부정확하게 이끌어냄을 의미한다.
• 하류 작업에서의 예측 RMSE는 9.39로, 합성 데이터를 사용한 예측 모델링에서 상당한 오차가 있음을 시사한다.
• 제안된 벤치마크 프레임워크는 표준화되고 해석 가능하며 확장 가능한 평가 파이프라인을 제공하며, 비밀리에 개인 정보를 보호하는 합성 데이터 생성 분야의 향후 방법 개발을 위한 기초 기준을 설정한다.