[논문 리뷰] AIM: An Adaptive and Iterative Mechanism for Differentially Private Synthetic Data

Ryan M. McKenna, Brett Mullins외 2명|arXiv (Cornell University)|2022. 01. 29.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

AIM는 유저 워크로드에 적응하는 새로운 메커니즘으로, 유의미한 관련성, 향후 향상 가능성, 프라이버시 예산을 균형 있게 고려하는 새로운 품질 점수를 기반으로 하여 반복적이고 탐욕적인 마진 쿼리 선택 방식을 사용해 차등적 프라이버시를 보장하는 합성 데이터를 생성한다. 이는 이전 방법들보다 훨씬 낮은 오차를 달성하며, 쿼리 오차에 대한 분석적이고 고확률의 신뢰구간을 제공하여 추가 프라이버시 비용 없이도 생성 후 정확도를 평가할 수 있도록 한다.

ABSTRACT

We propose AIM, a new algorithm for differentially private synthetic data generation. AIM is a workload-adaptive algorithm within the paradigm of algorithms that first selects a set of queries, then privately measures those queries, and finally generates synthetic data from the noisy measurements. It uses a set of innovative features to iteratively select the most useful measurements, reflecting both their relevance to the workload and their value in approximating the input data. We also provide analytic expressions to bound per-query error with high probability which can be used to construct confidence intervals and inform users about the accuracy of generated data. We show empirically that AIM consistently outperforms a wide variety of existing mechanisms across a variety of experimental settings.

연구 동기 및 목표

• 사용자 워크로드에 맞게 정확한 차등적 프라이버시를 보장하는 합성 데이터를 생성하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 기존의 워크로드 인식 메커니즘이 종종 워크로드 무관 기반 대비 성능이 열 劣하는 한계를 극복하기 위해.
• 사용자가 합성 쿼리 결과의 정확도를 실질적으로 평가할 수 있도록 데이터 기반 오차 추정치를 제공함으로써 신뢰와 정보 기반 의사결정을 가능하게 하기 위해.
• 반복적 정교화를 통해 적응적으로 쿼리를 선택하는 메커니즘을 설계하여, 프라이버시 예산을 존중하면서도 유용성을 향상시키기 위해.
• 실제 도입에 적합한 실용적이고 신뢰구간이 제공되는 합성 데이터 생성 접근법을 제공하기 위해.

제안 방법

• AIM는 선택-측정-생성 파라다임을 따르며, 노이즈가 섞인 측정값에서 Private-PGM를 사용해 합성 데이터를 생성한다.
• 새로운 저감도 품질 점수를 기반으로 하여 반복적이고 탐욕적인 선택 과정을 통해 다음 마진 쿼리를 선정한다.
• 품질 점수는 워크로드 관련성, 기대 향상도, 현재 추정 품질, 남은 프라이버시 예산을 포함한다.
• 유용성을 최적화하기 위해 적응적인 라운드 선택 및 라운드별 동적 예산 할당을 사용한다.
• 지능적인 후보 집합으로 초기화하고, 일관성과 정확도를 확보하기 위해 후처리를 적용한다.
• 추가 프라이버시 비용 없이도 중간 단계의 프라이빗 측정값을 사용하여 쿼리 오차에 대한 분석적이고 고확률의 한쪽 방향 신뢰구간을 유도한다.

실험 결과

연구 질문

• RQ1 워크로드에 적응하는 메커니즘이 기존의 워크로드 무관 및 워크로드 인식 기반 합성 데이터 생성 방법들보다 쿼리 정확도 측면에서 뚜렷이 뛰어나게 성능을 높일 수 있는가?
• RQ2 데이터 기반의 후처리 메커니즘이 프라이버시를 해치지 않으면서도 신뢰할 수 있고 고확률의 오차 구간을 제공할 수 있는가?
• RQ3 워크로드 관련성, 기대 향상도, 프라이버시 예산 할당의 통합이 합성 데이터의 유용성에 어떤 영향을 미치는가?
• RQ4 반복적이고 탐욕적인 쿼리 선택 전략은 고정되거나 비적응적인 선택 방법에 비해 오차를 얼마나 줄이는가?
• RQ5 제안된 신뢰구간은 실세계 도입 환경에서 합성 데이터의 오류를 탐지하고 이해하는 데 사용자가 도움을 받을 수 있는가?

주요 결과

• AIM는 다양한 실험 환경과 워크로드에서 MWEM+PGM, RAP, GEM 등 다양한 기존 메커니즘을 일관되게 능가한다.
• 제안된 품질 점수 덕분에 이전의 적응형 방법보다 더 효과적인 쿼리 선택이 가능해져 합성 데이터 생성 오차가 낮아졌다.
• AIM는 실제 입력 데이터에서 실행된 결과를 반영하는 분석적이고 고확률의 신뢰구간을 제공하여 사용자에게 실질적인 정확도 추정치를 제공한다.
• 신뢰구간은 추가 프라이버시 비용 없이 기존의 프라이빗 측정값만을 사용하여 사후에 계산된다.
• 실험 결과는 AIM가 복잡한 워크로드, 즉 혼합 데이터 유형과 비선형 목표 함수를 포함한 경우에도 뛰어난 유용성을 달성함을 보여준다.
• 이 방법은 데이터 이산화에 대해 강건하며, 공개 데이터를 통합할 수 있어 유용성 향상의 새로운 길을 열어준다.