[논문 리뷰] Differentially Private Bayesian Inference for Exponential Families

Garrett Bernstein, Daniel Sheldon|arXiv (Cornell University)|2018. 09. 06.

Privacy-Preserving Technologies in Data인용 수 23

한 줄 요약

이 논문은 충분통계량의 비공개 공개와 사후 추론을 분리함으로써 지수족 모델에서 차별적(private) 베이지안 추론을 위한 새로운 길버트 샘플링 방법을 제안한다. 충분통계량에 대한 라플라스 노이즈를 변수 증강을 통해 모델링함으로써 비점근적 영역에서도 적절하게 校정된 사후분포를 달성하며, 기존 방법보다 校정성과 유효성에서 뛰어나면서도 후처리 성질을 통해 개인정보 보호를 유지한다.

ABSTRACT

The study of private inference has been sparked by growing concern regarding the analysis of data when it stems from sensitive sources. We present the first method for private Bayesian inference in exponential families that properly accounts for noise introduced by the privacy mechanism. It is efficient because it works only with sufficient statistics and not individual data. Unlike other methods, it gives properly calibrated posterior beliefs in the non-asymptotic data regime.

연구 동기 및 목표

• 지수족 모델에 대해 점근적이지 않은 영역에서 적절하게 校정된 비공개 베이지안 추론의 부족을 해결하기 위해.
• 충분통계량의 개인정보 유도 노이즈를 정확히 반영하는 효율적인 추론 알고리즘을 개발하기 위해.
• 사후분포가 데이터뿐 아니라 개인정보 보호 메커니즘으로 인한 불확실성까지 반영하도록 보장하기 위해.
• 개별 데이터 포인트에 접근하지 않고도 비공개 베이지안 추론을 가능하게 하기 위해, 충분통계량에만 의존하기 위해.
• 일반적이고 확장 가능한 방법을 제공하여 단변량 및 다변량 지수족 모델에 적용 가능하게 하며, 유계 또는 잘린 충분통계량을 갖는 경우에도 적용 가능하게 하기 위해.

제안 방법

• 비공개 공개 메커니즘으로 라플라스 기반 메커니즘을 사용하여 노이즈가 섞인 충분통계량을 공개함으로써 차별적 개인정보 보호를 확보한다.
• 변수 증강을 통해 라플라스 노이즈를 포함한 매개변수와 충분통계량의 공동 사후분포를 모델링하는 새로운 길버트 샘플러를 도입한다.
• 충분통계량의 분포를 잘린 지수족과 랜덤 합 중심극한정리에서 유도된 정규분포로 근사한다.
• 자기미분을 활용하여, 잘림 경계 내 데이터 포인트 수가 알려지지 않은 경우 정규근사의 매개변수를 계산한다.
• 개별 데이터 포인트가 아닌 충분통계량을 통합하여 추론함으로써 계산 효율성을 확보한다.
• 사실상 비공개 출력 $ y $ 에 대해 사후분포 $ p(\theta \mid y) $ 를 계산함으로써, 원본 데이터 $ x $ 가 아닌 비공개 출력에 기반한 사후분포를 확보함으로써 校정성을 보장한다.

실험 결과

연구 질문

• RQ1 개인정보 보호 노이즈가 존재하는 비점근적 영역에서 비공개 베이지안 추론이 어떻게 적절하게 校정될 수 있는가?
• RQ2 지수족에 대해 충분통계량의 라플라스 노이즈를 처리할 수 있는 일반적 목적의 길버트 샘플러를 어떻게 설계할 수 있는가?
• RQ3 무한대 지수족에서 잘림이 충분통계량에 어떤 영향을 미치며, 이를 효과적으로 모델링할 수 있는가?
• RQ4 제안된 방법은 난이도 있는 비공개화 및 기존의 비공개 사후분포 샘플링 방법과 비교해 볼 때, 校정성과 유효성에서 어떻게 다른가?
• RQ5 개별 데이터 접근을 피하면서도 비공개성은 유지하면서 높은 유효성을 달성할 수 있는가?

주요 결과

• 제안된 길버트 샘플러는 모든 테스트 모델(이항분포, 다항분포, 지수분포)에서 모든 $ n $ 과 $ \epsilon $ 값에서 콜모고로프-스미르노프 통계량이 0에 수렴함으로써 완벽한 校정성을 달성한다.
• 노이즈가 섞인 충분통계량을 정확한 값으로 간주하는 난이도 있는 방법은 점근적이지 않은 영역에서 과신하고 잘못된 校정성을 보이며, $ n $ 이 크거나 $ \epsilon $ 이 높아지면서야 개선된다.
• OPS(Optimal Posterior Sampling)는 과도하게 산산이 흩어진 사후분포를 생성하여 진짜 매개변수 값이 사후분포 꼬리에 자주 위치하게 되어 낮은 校정성을 보인다.
• 이항분포 및 다항분포 모델에서 제안된 방법은 비공개 사후분포와의 MMD 거리 측정 기준으로 난이도 있는 방법과 비교해 유사하거나 뛰어난 유효성을 달성한다.
• 지수분포 모델에서는 공정한 기준이 부족한 상황이지만, 제안된 방법은 트렁케이션을 불공정하게 악용하는 난이도 있는 방법보다 항상 뛰어난 성능을 유지한다.
• 평가된 방법들 중에서 유일하게 비점근적 영역에서 데이터와 개인정보 보호 메커니즘에 의한 불확실성을 모두 정확히 반영하는 방법이다.