[논문 리뷰] Private Posterior distributions from Variational approximations

Vishesh Karwa, Daniel Kifer외 1명|arXiv (Cornell University)|2015. 11. 24.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 9

한 줄 요약

이 논문은 비밀성 보장 메커니즘을 우도 함수에 직접 통합하여 비밀성 있는 데이터에 대한 유효한 베이지안 추론을 가능하게 하는 변분 추론 프레임워크를 제안한다. 원본 데이터를 누락 데이터로 간주하고, MM 알고리즘을 사용한 새로운 하한을 적용함으로써, 이 방법은 나이브 베이즈 로그선형 모델에 대해 정확한 사후 분포 근사치를 생성하며, 시뮬레이션에서 비밀성 노이즈를 忽시하는 나이브한 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Privacy preserving mechanisms such as differential privacy inject additional randomness in the form of noise in the data, beyond the sampling mechanism. Ignoring this additional noise can lead to inaccurate and invalid inferences. In this paper, we incorporate the privacy mechanism explicitly into the likelihood function by treating the original data as missing, with an end goal of estimating posterior distributions over model parameters. This leads to a principled way of performing valid statistical inference using private data, however, the corresponding likelihoods are intractable. In this paper, we derive fast and accurate variational approximations to tackle such intractable likelihoods that arise due to privacy. We focus on estimating posterior distributions of parameters of the naive Bayes log-linear model, where the sufficient statistics of this model are shared using a differentially private interface. Using a simulation study, we show that the posterior approximations outperform the naive method of ignoring the noise addition mechanism.

연구 동기 및 목표

• 표준 통계적 방법을 비밀성 보장된 데이터에 적용할 경우 발생하는 유효하지도 않고 정확하지도 않은 추론 문제를 해결하기 위해.
• 원본 데이터를 누락 데이터로 간주하고, 비밀성 메커니즘을 우도에 명시적으로 모델링하는 원칙적인 베이지안 프레임워크를 개발하기 위해.
• 비밀성 보장 메커니즘으로 인해 발생하는 비가역적 우도에 대해 빠르고 정확한 변분 근사치를 유도하기 위해.
• 비밀성 노이즈를 추론 과정에 통합하여 유효한 사후 추정치와 적절한 표준 오차를 확보하기 위해.
• 시뮬레이션을 통해 제안된 방법이 비밀성 메커니즘을 忽시하는 나이브한 추론보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 원본 데이터셋을 누락 데이터로 간주하고, 비밀성 메커니즘을 조건부 분포 P(Z|D, γ)로 모델링하여 우도에 통합한다.
• 비가역적 우도에 대한 하한을 변분 추론을 통해 유도함으로써, 비공액성 및 비미분 가능 항을 포함한 최적화를 가능하게 한다.
• 모델 파라미터의 단체형 제약 조건을 유지하면서 하한을 최대화하기 위해 MM(Majorization-Minimization) 알고리즘을 사용한다.
• 제약 조건이 있는 최적화 문제를 해결하기 위해 일阶 내부점 방법을 적용하여 수렴성 보장과 경계 문제 회피를 달성한다.
• 충분통계에 대해 역가우시안 분포, 파라미터 사전분포에 대해 딜레르트 분포를 변분 근사치로 사용한다.
• 변분 업데이트 과정에서 딜레르트 분포의 로그확률 기대값을 계산하기 위해 디감마 함수를 활용한다.

실험 결과

연구 질문

• RQ1 비밀성 메커니즘을 우도에 명시적으로 모델링함으로써, 비밀성 보장된 데이터에 대한 베이지안 추론을 유효하고 정확하게 만들 수 있는가?
• RQ2 비공액성 및 비미분 가능성을 가진 비밀성 노이즈로 인해 발생하는 비가역적 우도를 다룰 수 있도록 변분 추론을 어떻게 적응시킬 수 있는가?
• RQ3 단체형 제약 조건 하에서 사후 분포 추정을 수행할 때 수렴성과 수치적 안정성을 보장하는 최적화 전략은 무엇인가?
• RQ4 비밀성 메커니즘을 통합함으로써, 이를 忽시하는 나이브한 방법보다 더 높은 효율성의 파라미터 추정을 달성할 수 있는가?
• RQ5 제안된 방법은 고차원 설정에서도 의미 있는 표준 오차와 일致하는 추정치를 생성할 수 있는가?

주요 결과

• 제안된 변분 방법은 시뮬레이션 연구를 통해 비밀성 메커니즘을 忽시하는 나이브한 추론보다 더 정확한 사후 근사치를 생성한다.
• 비밀성 메커니즘을 우도에 명시적으로 모델링함으로써, 파라미터 추정치의 존재성과 유효한 통계적 추론을 보장한다.
• 적절한 탐색 방향과 Armijo 규칙을 갖춘 내부점 방법은 하한의 단조적 증가와 수렴성을 보장한다.
• 이 방법은 표준 평균장 변분 추론에 비해 비가역적인 비공액성 및 비미분 가능 항을 효과적으로 처리할 수 있다.
• 사후 분포의 변분 근사치는 더 나은 커버리지와 낮은 분산을 보이며, 나이브한 접근보다 추정 효율성이 향상된다.
• 이 방법은 노이즈가 포함된 카운트가 어떤 진짜 교차표와도 일치하지 않더라도 의미 있는 표준 오차와 渐近적으로 일致하는 추정치를 제공한다.