[논문 리뷰] Iterative Methods for Private Synthetic Data: Unifying Framework and New Methods

Terrance Liu, Giuseppe Vietri외 1명|arXiv (Cornell University)|2021. 06. 14.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 반복적 개인 정보 보호 합성 데이터 생성을 위한 통합 프레임워크를 제안하고, 두 가지 새로운 방법을 도입한다: 적응형 학습률과 엔트로피 정규화를 통해 MWEM을 향상시키는 비밀번호 엔트로피 투영(PEP), 그리고 신경망을 사용해 복잡한 분포를 효율적으로 최적화하는 생성 네트워크와 지수 기반 메커니즘(GEM). GEM는 상태 기준 성능을 달성하여, ε=1일 때 2018년 ACS 데이터에서 PMW Pub 대비 최대 오차를 9.23배 감소시킨다.

ABSTRACT

We study private synthetic data generation for query release, where the goal is to construct a sanitized version of a sensitive dataset, subject to differential privacy, that approximately preserves the answers to a large collection of statistical queries. We first present an algorithmic framework that unifies a long line of iterative algorithms in the literature. Under this framework, we propose two new methods. The first method, private entropy projection (PEP), can be viewed as an advanced variant of MWEM that adaptively reuses past query measurements to boost accuracy. Our second method, generative networks with the exponential mechanism (GEM), circumvents computational bottlenecks in algorithms such as MWEM and PEP by optimizing over generative models parameterized by neural networks, which capture a rich family of distributions while enabling fast gradient-based optimization. We demonstrate that PEP and GEM empirically outperform existing algorithms. Furthermore, we show that GEM nicely incorporates prior information from public data while overcoming limitations of PMW^Pub, the existing state-of-the-art method that also leverages public data.

연구 동기 및 목표

• 다양한 반복적 알고리즘을 하나의 알고리즘 프레임워크로 통합하여, 차별적 개인 정보 보호 합성 데이터 생성에 적용한다.
• 기존 방법들인 MWEM과 PMW Pub보다 정확도와 효율성을 향상시킬 수 있는 새로운 방법을 개발한다.
• 기존 방법의 한계를 극복하면서도 공개 데이터를 효과적으로 활용하여 개인 정보 보호 쿼리 제공을 가능하게 한다.
• 신경망 파arameterization을 통해 고차원 설정에서의 계산적 병목 현상을 해결한다.
• 다양한 데이터셋과 개인 정보 보호 예산에서 제안된 방법이 최첨단 기준을 초월함을 실증적으로 검증한다.

제안 방법

• 반복적 개인 정보 보호 합성 데이터 알고리즘을 손실 함수와 분포 파arameterization으로 정의하는 통합 프레임워크를 제안하며, 기존 방법들인 MWEM과 FEM을 포함한다.
• 적응형 학습률과 엔트로피 정규화를 사용해 정규화된 지수 손실를 최소화하는 비밀번호 엔트로피 투영(PEP)을 도입하여, MWEM 대비 수렴성과 정확도를 향상시킨다.
• 신경망을 사용해 합성 분포를 파arameterization하고 기울기 기반 최적화 방법을 통해 최적화하는 생성 네트워크와 지수 기반 메커니즘(GEM)을 개발하여, MWEM의 지수적 실행 시간 문제를 피한다.
• GEM을 공개 데이터를 통합할 수 있도록 확장하여, ACS와 같은 공개 데이터셋에서의 사전 훈련을 통해 사전 지식을 효과적으로 활용한다.
• 기본 비교 기준으로 RAP의 소프트맥스 변형(RAP softmax)을 사용하며, 특히 희소 쿼리 환경에서 표준 RAP보다 성능 향상을 보였다.
• 과거 쿼리 측정치를 반복적으로 재사용하는 프레임워크를 도입하여, 표준 MWEM 대비 성능 향상을 입증했다.

실험 결과

연구 질문

• RQ1 기존의 다양한 반복적 개인 정보 보호 합성 데이터 생성 알고리즘을 하나의 통합 프레임워크로 포괄하고 일반화할 수 있는가?
• RQ2 적응형 학습률과 엔트로피 정규화를 통해 MWEM을 향상시킬 수 있는 새로운 방법(PEP)을 설계할 수 있는가?
• RQ3 신경망 기반 생성 모델(GEM)이 고차원 데이터에 효과적으로 스케일업되면서도 차별적 개인 정보 보호와 정확도를 유지할 수 있는가?
• RQ4 기존 방법들인 PMW Pub의 한계를 피하면서도 공개 데이터를 개인 정보 보호 쿼리 제공에 효과적으로 활용할 수 있는가?
• RQ5 RAP는 일부 데이터셋(예: ADULT)에서는 성능이 열등하지만 다른 데이터셋(예: ADULT*)에서는 상당히 우수한 성능을 보이는 이유는 무엇인가?

주요 결과

• GEM는 ε=1일 때 2018년 ACS 데이터에서 펜실베이니아 주의 최대 오차를 PMW Pub 대비 9.23배 감소시켜 고차원 설정에서 뛰어난 성능을 입증했다.
• PEP는 적응형 학습률과 엔트로피 정규화를 통해 반복 라운드 동안 오차가 단조 감소함으로써 MWEM 대비 더 빠른 수렴성과 높은 정확도를 달성했다.
• 제안된 프레임워크는 적절한 손실 함수와 파arameterization를 설정함으로써 기존 방법들인 MWEM, FEM, DualQuery를 성공적으로 복원하고 일반화했다.
• RAP의 소프트맥스 변형인 RAP softmax는 모든 개인 정보 보호 예산에서 표준 RAP를 능가했으며, 특히 희소 쿼리 워크로드에서 최대 오차 감소에 뛰어난 성능을 보였다.
• ADULT와 ADULT*에서 RAP의 성능 격차는 고정확도 쿼리의 희소성에 기인한다: ADULT*는 고정확도 쿼리가 71개로 적어, RAP가 최적화하기에 더 용이하다.
• GEM는 고차원 데이터에 대해 강건성을 보이며, ADULT*와 LOANS 데이터셋의 3방향 마진널에서 최대 오차 및 RMSE 지표에서 모든 경쟁 방법을 능가했다.