[논문 리뷰] Differential Privacy for Growing Databases

Rachel Cummings, Sara Krehbiel외 2명|arXiv (Cornell University)|2018. 03. 16.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 5

한 줄 요약

이 논문은 시간이 지남에 따라 데이터가 누적되는 동적으로 성장하는 데이터베이스에 대한 적응형 분석을 위한 새로운 비밀 보장 알고리즘을 제안한다. 이는 정적 비밀 보장 알고리즘을 동적 환경에 적응시키면서도 비밀 보장과 정확도를 유지할 수 있도록 하는 일반적인 기법 두 가지—BBScheduler와 BBImprover—를 제안하며, 데이터 성장에 따라 정적 수준의 정확도를 무한히 유지할 수 있도록 확장된 비밀 보장 다중 가중치 방법을 적용한 특수 알고리즘 PMWG도 제시한다.

ABSTRACT

We study the design of differentially private algorithms for adaptive analysis of dynamically growing databases, where a database accumulates new data entries while the analysis is ongoing. We provide a collection of tools for machine learning and other types of data analysis that guarantee differential privacy and accuracy as the underlying databases grow arbitrarily large. We give both a general technique and a specific algorithm for adaptive analysis of dynamically growing databases. Our general technique is illustrated by two algorithms that schedule black box access to some algorithm that operates on a fixed database to generically transform private and accurate algorithms for static databases into private and accurate algorithms for dynamically growing databases. These results show that almost any private and accurate algorithm can be rerun at appropriate points of data growth with minimal loss of accuracy, even when data growth is unbounded. Our specific algorithm directly adapts the private multiplicative weights algorithm to the dynamic setting, maintaining the accuracy guarantee of the static setting through unbounded data growth. Along the way, we develop extensions of several other differentially private algorithms to the dynamic setting, which may be of independent interest for future work on the design of differentially private algorithms for growing databases.

연구 동기 및 목표

• 시간이 지남에 따라 지속적으로 누적되는 데이터를 갖는 동적으로 성장하는 데이터베이스에서 적응형 분석을 위한 비밀 보장 알고리즘이 부족한 문제를 해결하기 위해.
• 모든 비밀 보장되고 정확한 정적 알고리즘을 최소한의 정확도 손실로 동적 데이터베이스 환경에서 작동하는 알고리즘으로 변환할 수 있는 일반 목적의 변환 기법을 개발하기 위해.
• 비밀 보장 다중 가중치 방법을 직접 동적 환경에 적응시킬 수 있도록 하되, 비밀 보장과 정확도 보장을 유지하는 특수 알고리즘 PMWG를 설계하기 위해.
• 동적 데이터베이스 환경에서 일반적이고 특수한 접근 방식에 대해 공식적인 비밀 보장 및 정확도 보장을 제공하기 위해.

제안 방법

• BBScheduler는 성장하는 데이터베이스에서 블랙박스 비밀 보장 알고리즘을 주기적으로 재실행하며, 총 비밀 보장 손실을 제어하기 위해 지수 감소하는 비밀 보장 매개변수를 사용한다.
• BBImprover는 각 데이터 업데이트 이후에 블랙박스 알고리즘을 실행하며, 적응적 노이즈 스케일링과 조합 한계를 통해 비밀 보장을 유지한다.
• PMWG 알고리즘은 공개 히스토GRAM을 동적으로 유지하고, 노이즈 인식 쿼리 라우팅 메커니즘을 사용하여 '어려운' 쿼리를 효율적으로 식별하고 처리한다.
• 데이터 성장에 따라 진짜 데이터베이스와 공개 히스토GRAM 사이의 통계적 발산 증가를 제어하기 위해 새로운 상대 엔트로피 한계(보조정리 15)를 유도한다.
• 알고리즘은 $\alpha/3$-정확도를 보장하는 비밀 보장 서브루틴인 Numeric Sparse를 사용하여 전체 정확도를 확보한다.
• 비밀 보장과 정확도는 조합 정리에 기반하여 증명되며, 노이즈 매개변수는 데이터베이스 크기와 시간에 따른 쿼리 부하에 맞춰 조정된다.

실험 결과

연구 질문

• RQ1 기존의 정적 데이터베이스를 대상으로 한 비밀 보장 알고리즘을 일반적으로 동적 환경에 적용하여 무한한 데이터 성장 상황에서도 작동시킬 수 있는가?
• RQ2 어떤 스케줄링 전략이 성장하는 데이터베이스의 적응형 분석에서 비밀 보장과 시간에 독립적인 정확도를 동시에 확보할 수 있는가?
• RQ3 비밀 보장 다중 가중치 알고리즘을 동적 환경으로 확장할 수 있으며, 그 정확도 보장 조건을 유지할 수 있는가?
• RQ4 동적 데이터베이스에서 '어려운' 쿼리의 수는 시간이 지남에 따라 어떻게 증가하는가? 그리고 이를 정확도 유지 가능성을 위해 유한하게 제한할 수 있는가?
• RQ5 동적 비밀 보장 분석에서 쿼리 예산, 비밀 보장 매개변수, 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• BBScheduler는 \/(\epsilon,0)\-비밀 보장과 동적 정확도 $\alpha_d = O\left(\frac{\log N \log k}{\epsilon n}\right)^{1/5}$를 보장하며, 총 쿼리 수에 관계없이 독립적이다.
• BBImprover는 시간에 독립적인 쿼리 예산 조건 하에서 비밀 보장 및 정확도 보장을 제공하며, 정확도는 쿼리 예산에 따라 로그적으로 감소한다.
• PMWG 알고리즘은 무한한 데이터 성장 조건 하에서도 정적 비밀 보장 다중 가중치 방법과 동일한 정확도를 유지한다. 정확도는 $\alpha = O\left(\frac{\log(Nn)\log(\kappa n/\beta)}{n\epsilon}\right)^{1/3}$이다.
• 시간 $t$까지 PMWG가 처리한 '어려운' 쿼리의 수는 $\sum_{\tau=n}^{t} h_\tau \leq \frac{36}{\alpha^2}\left(\log N + \sum_{\tau=n+1}^{t} \left(\frac{\log N}{\tau} + \frac{\log(\tau-1)}{\tau} + \log(\frac{\tau}{\tau-1})\right)\right)$로 유한하게 제한된다.
• $(\epsilon,\delta)$-비밀 보장 조건 하에서, PMWG는 $\alpha = O\left(\frac{\log^{1/2}(Nn)\log(\kappa n/\beta)\log^{1/2}(1/\delta)}{n\epsilon}\right)^{1/2}$를 달성하며, $\delta > 0$이 작을수록 정확도 향상을 보인다.