[논문 리뷰] Bayesian Differential Privacy through Posterior Sampling

Christos Dimitrakakis, Blaine Nelson외 3명|arXiv (Cornell University)|2013. 06. 05.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 사후 분포 표본 추출을 활용하여 베이지안 미분 적분 보장을 달성하는 새로운 프레임워크를 제안한다. 특정 사전 조건 하에서 사후 분포에서의 표본 추출이 유용성 제어와 함께 자연스럽게 미분 적분 보장을 제공한다는 것을 입증한다. 주요 기여는 데이터셋 메트릭과 분포 가족에 대해 일반화된 미분 적분 보장의 제안이며, 레캠의 방법을 사용하여 비밀성, 유용성, 구별 가능성에 대한 이론적 경계를 제공한다.

ABSTRACT

Differential privacy formalises privacy-preserving mechanisms that provide access to a database. We pose the question of whether Bayesian inference itself can be used directly to provide private access to data, with no modification. The answer is affirmative: under certain conditions on the prior, sampling from the posterior distribution can be used to achieve a desired level of privacy and utility. To do so, we generalise differential privacy to arbitrary dataset metrics, outcome spaces and distribution families. This allows us to also deal with non-i.i.d or non-tabular datasets. We prove bounds on the sensitivity of the posterior to the data, which gives a measure of robustness. We also show how to use posterior sampling to provide differentially private responses to queries, within a decision-theoretic framework. Finally, we provide bounds on the utility and on the distinguishability of datasets. The latter are complemented by a novel use of Le Cam's method to obtain lower bounds. All our general results hold for arbitrary database metrics, including those for the common definition of differential privacy. For specific choices of the metric, we give a number of examples satisfying our assumptions.

연구 동기 및 목표

• 데이터 또는 알고리즘을 수정하지 않고도 표준 베이지안 추론이 본질적으로 미분 적분 보장을 제공할 수 있는지 조사하기.
• 미분 적분 보장을 i.i.d. 및 표 형태 데이터를 초월해 임의의 데이터셋 메트릭, 결과 공간, 분포 가족으로 일반화하기.
• 결정 이론 프레임워크 내에서 사후 분포의 민감도(비밀성)와 데이터셋의 구별 가능성(유용성)에 대한 이론적 경계 수립하기.
• 사후 표본 추출이 고정된 비밀성 예산 하에서 높은 유용성을 유지하면서도 쿼리에 대해 미분 적분 보장을 갖는 응답을 생성할 수 있음을 보여주기.
• 비밀성과 유용성에 대해 상한과 하한 경계를 제공하며, 후자는 레캠의 방법을 활용하여 유도하기.

제안 방법

• 데이터셋 메트릭과 분포 가족에 대해 일반화된 미분 적분 보장을 도입하여 비i.i.d. 및 비표 형태 데이터에 적용 가능하게 한다.
• 외부 쿼리에 대해 미분 적분 보장을 갖는 응답을 생성하기 위해 사후 표본 추출을 핵심 메커니즘으로 사용한다.
• 입력 데이터셋의 변화에 대한 사후 분포 민감도에 대한 경계를 유도하여 강건성 수치화.
• 비밀성 제약 하에서 유용성을 최대화하도록 응답을 선택하는 결정 이론 프레임워크 적용.
• 레캠의 방법을 활용해 데이터셋의 구별 가능성에 대한 하한 경계를 도출하여 비밀성에 대한 상한 경계를 보완한다.
• 지수족 모델, 다변량 정규분포, DAG 구조를 가진 이산 베이지안 네트워크에 대한 구체적 예시 제공.

실험 결과

연구 질문

• RQ1 적절하게 선택된 사전을 사용한 표준 베이지안 추론이 사후 표본 추출을 통해 추가 노이즈 없이 본질적으로 미분 적분 보장을 보장할 수 있는가?
• RQ2 미분 적분 보장이 i.i.d. 및 표 형태 데이터를 초월해 임의의 데이터셋 메트릭과 분포 가족으로 일반화될 수 있는가?
• RQ3 사후 표본 추출을 활용한 비밀 보장 응답을 위한 쿼리에 대해 비밀성과 유용성의 이론적 경계는 무엇인가?
• RQ4 사후 분포의 민감도와 데이터셋의 구별 가능성은 비밀 보장과 어떻게 관련되는가?
• RQ5 레캠의 방법을 활용해 구별 가능성에 대한 하한 경계를 도출할 수 있는가? 이는 비밀성에 대한 상한 경계를 보완할 수 있는가?

주요 결과

• 적절한 사전과 모델 가족 조건 하에서, 적절한 사전을 가진 베이지안 모델에서의 사후 표본 추출은 추가 노이즈 없이도 미분 적분 보장을 달성한다.
• 논문은 사후 분포의 비밀성 손실에 대한 상한 경계를 수립하여, 미약한 정규성 조건 하에서 데이터 변화에 대한 민감도가 유한함을 보여준다.
• 정밀도 행렬이 알려진 다변량 정규분포 모델의 경우, 사후 민감도는 고유값과 데이터 차이의 함수로 유한하게 경계된다.
• DAG 구조를 가진 이산 베이지안 네트워크의 경우, 비밀성 손실은 차이가 나는 변수 값의 가중합으로 경계되며, 가중치는 노드의 차수에 기반한다.
• 레캠의 방법을 활용해 데이터셋의 구별 가능성에 대한 하한 경계를 도출하여, 비밀성과 유용성이 본질적으로 상충 관계에 있음을 보여준다.
• 고정된 비밀성 예산 하에서도 유용성이 유지되며, 사후 표본 추출을 통해 정확한 쿼리 응답을 제공하면서도 미분 적분 보장을 유지할 수 있다.