[논문 리뷰] On the Theory and Practice of Privacy-Preserving Bayesian Data Analysis

James R. Foulds, Joseph Geumlek외 2명|arXiv (Cornell University)|2016. 03. 23.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 27

한 줄 요약

이 논문은 비밀성 보장 베이지안 추론을 위한 라플라스 기반 기법을 제안하며, 비공개 사후 분포 추론과 유사한 渐近相對効率를 달성하면서도, 한 사후 표본(OPS) 방법보다 데이터 효율성이 뛰어나다. 이 방법은 L1 민감도에 비례하는 라플라스 노이즈를 사용해 충분통계량을 비밀성 보장하며, MCMC 샘플링에서 효율적이고 재사용 가능한 비밀성 보장된 카운트를 가능하게 한다. 실제 유출된 군사 기록 데이터인 위클리크스 기록에 대해 실용적인 유용성을 입증했으며, 강력한 비밀성-유용성 트레이드오프를 보였다.

ABSTRACT

Bayesian inference has great promise for the privacy-preserving analysis of sensitive data, as posterior sampling automatically preserves differential privacy, an algorithmic notion of data privacy, under certain conditions (Dimitrakakis et al., 2014; Wang et al., 2015). While this one posterior sample (OPS) approach elegantly provides privacy "for free," it is data inefficient in the sense of asymptotic relative efficiency (ARE). We show that a simple alternative based on the Laplace mechanism, the workhorse of differential privacy, is as asymptotically efficient as non-private posterior inference, under general assumptions. This technique also has practical advantages including efficient use of the privacy budget for MCMC. We demonstrate the practicality of our approach on a time-series analysis of sensitive military records from the Afghanistan and Iraq wars disclosed by the Wikileaks organization.

연구 동기 및 목표

• 비밀성 보장 베이지안 추론에서 한 사후 표본(OPS) 방법의 데이터 비효율성 문제를 해결하기 위해.
• 강력한 차별적 비밀성 보장 조건을 유지하면서도 실용적이고 효율적인 OPS의 대안을 개발하기 위해.
• 라플라스 기반 기법을 사용해 비밀성 보장 MCMC 추론을 근사 베이지안 방법으로 확장하기 위해.
• 실제 민감한 데이터, 특히 이라크와 아프가니스탄의 위클리크스 군사 기록 데이터를 대상으로 방법을 검증하기 위해.
• 일반 조건 하에서 비공개 추론과 유사한 渐近적 효율성을 달성할 수 있는지 입증하기 위해.

제안 방법

• 지수가족 모형에서 충분통계량(예: 카운트 벡터)을 라플라스 기반 기법을 사용해 비밀성 보장하며, 통계량의 L1 민감도에 비례하는 노이즈를 추가한다.
• HMM의 경우, 비밀성 보장 카운트 $\hat{n}_{r,t,d,j}$ 는 초기화 단계에서 한 번 계산되어 모든 깁스 샘플링 단계에서 재사용되며, 계산 효율성을 보장한다.
• 전이 확률과 방출 확률에 라플라스 기반 기법을 적용하며, 비밀성 보장 카운트를 잠재 상태 $z_{r,t}$ 와 파라미터 $\theta$ 의 깁스 업데이트 식에 사용한다.
• 각 카운트 벡터의 민감도 $\triangle h = 2$ 로 설정함으로써, 단일 데이터 포인트 변경에 대한 충분통계량 민감도를 제한함으로써 $\epsilon$-차별적 비밀성 보장 조건을 유지한다.
• MCMC 기반 근사 추론을 지원하며, 반복 단계 간에 비밀성 보장 카운트를 재사용함으로써 비밀성 예산 소모를 줄인다.
• 디리클레 사전분포의 경우, 비밀성 보장 카운트를 사용해 깁스 업데이트에서 잘라낸 디리클레 분포에서 샘플링함으로써 비밀성과 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 라플라스 기반 기법이 비공개 사후 분포 추론과 유사한 渐近적 상대적 효율성을 달성하는가?
• RQ2 실제로 라플라스 기반 기법의 데이터 효율성은 한 사후 표본(OPS) 방법보다 어떻게 비교되는가?
• RQ3 라플라스 기반 기법은 차별적 비밀성 보장을 유지하면서도 MCMC 기반 근사 추론에 효과적으로 적용될 수 있는가?
• RQ4 위클리크스 군사 기록과 같은 실제 민감한 데이터셋에서 이 기법의 실용적 유용성은 어떠한가?
• RQ5 일반적인 지수가족 모형 하에서 이 기법이 일치성과 비밀성 보장 조건을 유지하는가?

주요 결과

• 라플라스 기반 기법은 비공개 사후 분포 추론과 유사한 渐近적 상대적 효율성(ARE)을 달성하며, 데이터 효율성 측면에서 OPS 방법을 크게 능가한다.
• 반복 단계 간에 비밀성 보장 카운트를 재사용함으로써 MCMC에서 비밀성 예산을 효율적으로 사용하며, 누적 비밀성 비용을 감소시킨다.
• 위클리크스 군사 기록 데이터셋에서 $\epsilon = 5$ 조건 하에 안정적인 상태 할당과 파라미터 추정을 달성하여 실용적 적용 가능성을 입증했다.
• OPS 방법은 잘라내기 처리가 필요했으며, 데이터 효율성이 낮게 나타났고, 보류된 데이터에 대한 로그우도 결과에서 명백한 성능 격차가 확인되었다.
• 이론적 분석을 통해 라플라스 기반 기법이 약한 조건 하에서도 일치성을 보임을 확인했으며, 민감도가 유계인 지수가족 사후 분포에 대해서도 적용 가능하다.
• 실험 결과로 라플라스 기반 기법이 신뢰할 수 있고 비밀성 보장된 HMM 모델을 생성함을 입증했으며, 상태 할당과 파라미터 추정이 비공개 기준 모델과 밀접하게 유사한 결과를 보였다.