[논문 리뷰] PrivSyn: Differentially Private Data Synthesis

Zhikun Zhang, Tianhao Wang외 6명|arXiv (Cornell University)|2020. 12. 30.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

PrivSyn은 그래픽 모델 대신 저차수의 마진털을 사용하여 데이터 상관관계를 포착하는 새로운 비밀 보장 합성 데이터 생성 프레임워크이다. InDif 메트릭을 통한 비밀 보장된 효율적인 마진털 선택 방법과 반복적 합성 알고리즘을 도입하여, 최대 100개의 속성을 가진 표 형태 데이터셋과 2^500를 초월하는 도메인 크기를 가진 데이터셋에서 높은 유틸리티를 달성하였으며, NIST 차별적 비밀 보장 합성 데이터 챌린지에서 이전 방법들을 능가하였다.

ABSTRACT

In differential privacy (DP), a challenging problem is to generate synthetic datasets that efficiently capture the useful information in the private data. The synthetic dataset enables any task to be done without privacy concern and modification to existing algorithms. In this paper, we present PrivSyn, the first automatic synthetic data generation method that can handle general tabular datasets (with 100 attributes and domain size $>2^{500}$). PrivSyn is composed of a new method to automatically and privately identify correlations in the data, and a novel method to generate sample data from a dense graphic model. We extensively evaluate different methods on multiple datasets to demonstrate the performance of our method.

연구 동기 및 목표

• 고차원 표 형태 데이터에 대한 기존 차별적 비밀 보장 합성 데이터 생성 방법의 확장성과 유틸리티 한계를 해결하기 위해.
• 제한적인 조건부 통일성 가정을 내포하는 희박한 그래픽 모델에 의존하는 것을 해결하기 위해.
• 상호정보량과 같은 고감도 메트릭에 의존하지 않고도 정보가 풍부한 마진털을 비밀 보장된 방식으로 효율적으로 선택할 수 있는 방법을 개발하기 위해.
• 후처리 과정에서 추가 비밀 보장 비용 없이 임의의 후행 작업을 지원하기 위해.
• 매우 큰 도메인 크기를 가진 데이터셋에서도 엄격한 비밀 보장 예산 하에 높은 유틸리티를 달성하기 위해.

제안 방법

• PrivSyn은 저차수 마진털(예: 모든 1차 및 약 500개의 2차 마진털)의 집합을 사용하여 데이터셋을 표현하며, 이는 본질적으로 저감도이므로 차별적 비밀 보장에 적합하다.
• 쌍별 속성 상관관계를 측정하기 위해 저전반 감도 메트릭인 InDif를 도입하여, 비밀 보장된 효율적인 마진털 선택을 가능하게 한다.
• 그리디 알고리즘은 InDif 점수를 활용하여 유틸리티와 비밀 보장 비용을 균형 잡는 데 가장 정보가 풍부한 마진털 쌍을 선택한다.
• 노이즈가 섞인 마진털을 따라 합성 데이터셋을 반복적으로 업데이트하는 반복적 합성 알고리즘을 사용하며, 겹치는 마진털을 평균화함으로써 분산을 줄이는 MWEM 프레임워크의 변종을 활용한다.
• 많은 수의 마진털을 거쳐도 노이즈 증가를 관리하기 위해 고급 복합성 또는 제로 집중적 DP를 적용하여 마진털 수와 선형적으로 노이즈가 증가하도록 보장한다.
• 기존 분석 파이프라인을 수정하지 않고도 합성 데이터 생성을 수행하여, 후처리 과정에서 추가 비밀 보장 비용 없이 임의의 분석을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비모수적이고 마진털 기반 접근 방식이 차별적 비밀 보장 합성 데이터 생성에서 모수적 그래픽 모델 방법을 능가할 수 있는가?
• RQ2 상호정보량과 같은 고감도 통계량에 의존하지 않고도, InDif와 같은 저감도 비밀 보장 메트릭이 고차원 데이터에서 유용한 상관관계를 효과적으로 식별할 수 있는가?
• RQ3 낮은 차수의 마진털만을 사용하여도 강력한 비밀 보장과 큰 도메인 크기로의 확장성을 유지하면서 고품질의 합성 데이터를 생성하는 것이 가능한가?
• RQ4 노이즈가 섞인 마진털 기반의 반복적 합성 과정이 기존 방법들과 비교해 유틸리티와 비밀 보장-유틸리티 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ5 100개 이상의 속성과 2^500를 초월하는 도메인 크기를 가진 데이터셋에서도 실용적인 성능을 유지하면서 확장 가능한가?

주요 결과

• PrivSyn은 여러 실제 데이터셋에서 기존 방법들, 특히 PrivBayes와 PGM과 비교해 뛰어난 유틸리티를 달성하였으며, 고차원 환경에서 두드러진 성능을 보였다.
• 이전 방법들이 어려움을 겪는 영역인 최대 100개의 속성과 2^500를 초월하는 도메인 크기를 가진 데이터셋을 성공적으로 처리하였다.
• NIST 차별적 비밀 보장 합성 데이터 챌린지에서 다른 방법들을 능가하며, 복잡한 실제 데이터에 대해 강력한 실증 성능을 입증하였다.
• InDif를 활용한 마진털 선택은 상호정보량 기반 접근 방식의 계산적 병목 현상을 피하면서 효율적이고 비밀 보장된 관련성 있는 상관관계 식별을 가능하게 하였다.
• 반복적 합성 과정은 엄격한 비밀 보장 예산 하에서도 목표 마진털과 매우 유사한 합성 데이터셋으로 수렴하는 데 효과적이었다.
• 이 프레임워크는 모든 비밀 보장 비용이 데이터 생성 단계에서 소진되므로, 합성 데이터에 대해 임의의 후행 분석을 수행할 수 있으며 추가 비밀 보장 비용 없이 가능하다.