[논문 리뷰] Data Augmentation MCMC for Bayesian Inference from Privatized Data

Nianqiao Ju, Jordan Awan외 2명|arXiv (Cornell University)|2022. 06. 01.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 기밀 데이터에 대한 차등적 보호를 받는 데이터로부터 정확한 베이지안 추론을 수행하기 위한 새로운 데이터 증강 MCMC 프레임워크를 제안한다. 이는 모델 파라미터와 기밀 데이터를 동시에 샘플링하는 방식으로, 보호 메커니즘의 구조를 활용하여 고차원 기밀 데이터베이스에 대한 통합으로 인해 마진형 우도가 비계산 가능할 경우에도 근사 없이 정확한 사후 분포 샘플링을 가능하게 한다.

ABSTRACT

Differentially private mechanisms protect privacy by introducing additional randomness into the data. Restricting access to only the privatized data makes it challenging to perform valid statistical inference on parameters underlying the confidential data. Specifically, the likelihood function of the privatized data requires integrating over the large space of confidential databases and is typically intractable. For Bayesian analysis, this results in a posterior distribution that is doubly intractable, rendering traditional MCMC techniques inapplicable. We propose an MCMC framework to perform Bayesian inference from the privatized data, which is applicable to a wide range of statistical models and privacy mechanisms. Our MCMC algorithm augments the model parameters with the unobserved confidential data, and alternately updates each one conditional on the other. For the potentially challenging step of updating the confidential data, we propose a generic approach that exploits the privacy guarantee of the mechanism to ensure efficiency. We give results on the computational complexity, acceptance rate, and mixing properties of our MCMC. We illustrate the efficacy and applicability of our methods on a naïve-Bayes log-linear model as well as on a linear regression model.

연구 동기 및 목표

• 기밀 데이터베이스에 대한 고차원 통합으로 인해 마진형 우도가 비계산 가능해지는 상황에서, 기존에 이용 가능한 데이터가 모두 차등적 보호를 받는 경우에도 유효한 베이지안 추론을 수행하는 데 도전하는 문제를 해결하기 위해.
• 이중 비계산 가능 상황에서도 근사 없이 정확한 사후 분포 $ p(\theta \mid s_{\text{dp}}) $ 를 대상으로 하는 일반적인 목적의 MCMC 알고리즘을 개발하기 위해.
• 비공식 데이터를 위한 기존 MCMC 샘플러를 비공식 데이터용 래퍼로 재사용할 수 있도록 하여 통계적 타당성과 불확실성 측정을 유지하기 위해.
• 유한한 파라미터 공간과 표본 공간 조건 하에서 샘플러의 계산 효율성과 기하학적 에르고딕성을 확립하기 위해.
• 선형 회귀 및 로그선형 모델과 같은 실제 모델에서 차등적 보호 하에 본 논문의 방법이 효과적으로 작동하는지 검증하기 위해.

제안 방법

• 이 방법은 기밀 보호된 출력 $ s_{\text{dp}} $ 를 조건으로 하여 모델 파라미터 $ \theta $ 와 기밀 데이터가 아닌 관측되지 않은 데이터 $ x $ 를 번갈아가며 업데이트하는 메트로폴리스-내-지브스 MCMC 샘플러를 사용한다.
• 특히 $ x \mid \theta, s_{\text{dp}} $ 를 업데이트하기 위해, 보호 메커니즘의 구조를 활용한 일반적인 제안을 설계하여 높은 수용률과 효율적인 혼합을 확보한다.
• 알려진 보호 보장(예: $ \epsilon $-DP)을 활용하여 $ x $ 의 구성 요소 간 상관관계를 제어함으로써 혼합 효율성을 향상시킨다.
• 모든 가능한 기밀 데이터베이스에 대한 마진형 분해를 피하기 위해, 직접적으로 연합 사후분포 $ p(\theta, x \mid s_{\text{dp}}) $ 를 대상으로 한다.
• 이 프레임워크는 모듈러하다: $ p(\theta \mid x) $ 를 위한 기존 MCMC 샘플러를 감싸서, 설계 재작업 없이도 기존 추론 도구를 재사용할 수 있다.
• 이론적 결과로는 $ \Theta $ 와 $ \mathbb{X} $ 에 대한 유한성 가정 하에서 지브스 샘플러의 기하학적 에르고딕성을 확립하였으며, 수렴 보장을 한다.

실험 결과

연구 질문

• RQ1 기밀 데이터베이스에 대한 고차원 통합으로 인해 마진형 우도가 비계산 가능할 경우, 기밀 보호된 데이터에서 정확한 베이지안 추론을 수행할 수 있는가?
• RQ2 보안 메커니즘의 구조를 어떻게 활용하여 기대하지 못한 기밀 데이터에 대한 효율적인 MCMC 제안을 설계할 수 있는가?
• RQ3 비공식 데이터를 위한 기존 MCMC 샘플러를 비공식 데이터용으로 재사용할 수 있는가? 이 경우 정확도나 효율성에 손실이 없는가?
• RQ4 유한한 파라미터 공간과 표본 공간 조건 하에서 제안된 데이터 증강 MCMC 프레임워크의 계산 및 혼합 성질은 어떠한가?
• RQ5 실제 통계 모델, 예를 들어 선형 회귀 및 로그선형 모델에서 차등적 보호 하에 이 방법이 실제로 얼마나 효과적인가?

주요 결과

• 제안된 MCMC 프레임워크는 근사나 점근적 가정에 의존하지 않고 $ \theta \mid s_{\text{dp}} $ 에 대한 정확한 사후 샘플링을 달성한다.
• 유한성 가정 하에서 높은 수용률과 기하학적 에르고딕성을 확보하여 신뢰할 수 있는 수렴을 보장한다.
• 선형 회귀 모델에서 $ \beta $ 의 사후 평균은 다양한 보호 수준 $ \epsilon $ 에서 진짜 기밀 사후 평균과 매우 유사하게 추적되며, 100개의 독립적인 비공식 출력에서도 안정적인 추세를 보였다.
• 이 알고리즘은 동시에 기밀 데이터 $ x \mid s_{\text{dp}} $ 의 여러 사후 예측 샘플을 생성하여 원래 데이터에 대한 후행 추론에 유용하다.
• 이 프레임워크는 계산적으로 효율적이고 확장 가능하며, 선형 회귀 예제에서 $ \theta $ 가 공액 사전을 통해 업데이트될 경우 런타임이 $ n $ 에 대해 선형적이다.
• 예측 변수와 반응 변수의 클램핑에 대해 강건하여, 유한한 지지역간에도 일관된 추론 추세를 유지한다.