[논문 리뷰] On the Differential Privacy of Bayesian Inference

Zuhe Zhang, Benjamin I. P. Rubinstein외 1명|arXiv (Cornell University)|2015. 12. 22.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 11

한 줄 요약

이 논문은 확률적 그래픽 모델에 대한 베이지안 추론을 위한 네 가지 새로운 비밀유지 메커니즘을 제안한다. 이는 사후 분포 매개수와 그 푸리에 변환에 노이즈를 도입하고, 사후 표본 추출 및 최대사후확률 메커니즘을 포함한다. 이는 그래픽 모델의 구조와 비밀유지 간의 첫 이론적 연결을 수립하며, 조건부 독립 구조가 비밀유지 보장에 영향을 준다는 것을 보여주며, 이산 베이지안 네트워크와 선형 회귀 모델에 대해 유용성과 비밀유지의 경계를 도출한다.

ABSTRACT

We study how to communicate findings of Bayesian inference to third parties, while preserving the strong guarantee of differential privacy. Our main contributions are four different algorithms for private Bayesian inference on proba-bilistic graphical models. These include two mechanisms for adding noise to the Bayesian updates, either directly to the posterior parameters, or to their Fourier transform so as to preserve update consistency. We also utilise a recently introduced posterior sampling mechanism, for which we prove bounds for the specific but general case of discrete Bayesian networks; and we introduce a maximum-a-posteriori private mechanism. Our analysis includes utility and privacy bounds, with a novel focus on the influence of graph structure on privacy. Worked examples and experiments with Bayesian na{\\"i}ve Bayes and Bayesian linear regression illustrate the application of our mechanisms.

연구 동기 및 목표

• 개인 데이터 폭로 없이 제3자에게 베이지안 추론 결과를 비밀리에 공유할 수 있도록 하기 위해.
• 확률적 그래픽 모델(PGMs)에서 비밀유지를 유지하면서도 유용성을 유지하는 메커니즘 개발을 위해.
• 그래픽 모델 구조(예: 조건부 독립)와 비밀유지 보장 간의 첫 공식적 연결을 수립하기 위해.
• 네트워크의 그래프 구조와 매개수 민감도에 따라 달라지는 비밀유지 및 유용성 이론적 경계 제공을 위해.
• 후행 표본 추출 및 추가 노이즈 메커니즘을 비밀유지 하에 베이지안 추론에 확장하기 위해.

제안 방법

• 사후 매개수에 직접 라플라스 노이즈를 추가하는 메커니즘과, 업데이트 일致성을 유지하기 위해 푸리에 계수에 노이즈를 추가하는 메커니즘을 제안한다.
• Dimitrakakis 등(2014)의 사후 표본 추출 메커니즘을 변형하여, 확률적 리프만 조건 하에서 이산 베이지안 네트워크에 대한 비밀유지 보장 경계를 증명한다.
• 비밀유지 제약 조건 하에서 가장 가능성이 높은 매개수 조합을 선택하기 위해 지수 메커니즘을 사용하는 최대사후확률(private) 메커니즘을 도입한다.
• 특히 매개수가 유계인 선형 회귀에 대해, 로그우도 함수의 민감도 분석을 통해 비밀유지 보장을 유도한다.
• 유계성과 켄콘주어시티를 보장하기 위해 절단 정규 사전분포를 사용하여, 비밀유지 조건 하에서도 닫힌 형태의 사후분포 계산이 가능하도록 한다.
• Barak 등(2007)의 영향을 받아 푸리에 도메인에 노이즈를 추가하여, 희생자 분포의 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 확률적 그래픽 모델에 대한 베이지안 추론을 어떻게 비밀유지하게 하면서도 유용성을 유지할 수 있는가?
• RQ2 조건부 독립 구조(그래프 구조)는 베이지안 네트워크에서 비밀유지 보장에 어떤 영향을 미치는가?
• RQ3 일반적인 베이지안 네트워크 구조에서 사후 표본 추출 메커니즘이 비밀유지 가능하다고 증명할 수 있는가?
• RQ4 로그우도의 민감도 경계는 비밀유지 베이지안 추론에서 노이즈 스케일 선택에 어떤 영향을 미치는가?
• RQ5 그래프 구조는 비밀유지에 필요한 노이즈의 양을 줄이는 데 어느 정도 활용될 수 있는가?

주요 결과

• 논문은 이산 베이지안 네트워크에서 비밀유지 예산 ε가 ε = 2 log(1/ω)로 유계임을 입증하며, 이는 ω(최소 하위사건 확률)를 통해 직접 비밀유지 수준을 校정할 수 있음을 보여준다.
• 매개수가 유계인 베이지안 선형 회귀에서, 로그우도 민감도는 L(w) = (n / (2σ²)) (1 + 2||w||₁ + d||w||₂)로 유계지며, 이는 비밀유지에 필요한 노이즈 스케일을 결정한다.
• 사후 표본 추출 메커니즘은 2L(w)-비밀유지 보장을 달성하며, L(w)는 로그우도의 민감도이며, 일반적인 베이지안 네트워크에 적용 가능하다.
• 푸리에 도메인에 노이즈를 주입함으로써 조건부 분포 간의 사후 업데이트 일치성이 유지되어, 무지한 공격자에 대한 침투를 더욱 어렵게 한다.
• 이론적 경계는 그래프 구조—특히 조건부 독립—가 사후의 효과적 민감도를 감소시켜 비밀유지-유용성 트레이드오프를 향상시킬 수 있음을 보여준다.
• 베이지안 나이브 베이즈와 선형 회귀에 대한 실험 결과, 제안된 메커니즘이 비밀유지를 만족하면서도 유용성을 유지함을 확인하였으며, 비밀유지 수준은 ω 또는 매개수 경계를 통해 校정된다.