[논문 리뷰] Differentially Private Bayesian Linear Regression

Garrett Bernstein, Daniel Sheldon|arXiv (Cornell University)|2019. 10. 29.

Bayesian Methods and Mixture Models인용 수 24

한 줄 요약

이 논문은 충분한 통계량에 유입된 프라이버시 유도 노이즈를 고려한 노이즈 인식 Bayesian 선형 회귀 방법을 제안한다. MCMC를 사용해 훼손된 통계량을 바탕으로 사후분포에서 샘플을 추출한다. 난이도 없는 접근 방식과 달리, 이 방법은 정확한 불확실성 측정을 유지하고, 합성 및 실세계 데이터에서 보조성과 校정성 측면에서 베이스라인을 능가한다.

ABSTRACT

Linear regression is an important tool across many fields that work with sensitive human-sourced data. Significant prior work has focused on producing differentially private point estimates, which provide a privacy guarantee to individuals while still allowing modelers to draw insights from data by estimating regression coefficients. We investigate the problem of Bayesian linear regression, with the goal of computing posterior distributions that correctly quantify uncertainty given privately released statistics. We show that a naive approach that ignores the noise injected by the privacy mechanism does a poor job in realistic data settings. We then develop noise-aware methods that perform inference over the privacy mechanism and produce correct posteriors across a wide range of scenarios.

연구 동기 및 목표

• 프라이버시 노이즈를 忽시할 경우 난이도 있는 차별적 프라이버시 보장 Bayesian 선형 회귀의 낮은 校정성 문제를 해결하기 위해.
• 충분한 통계량 훼손(SSP)에서 발생하는 노이즈를 적절히 반영하는 추론 방법을 개발하기 위해.
• MCMC나 변분 추론에서처럼 반복 단위 프라이버시 비용에 의존하지 않고도 잘 校정된 사후분포를 가능하게 하기 위해.
• 개인 정보를 제거하고 공변수 분포에 대한 모멘트 기반 가정을 사용함으로써 계산 비용을 줄이기 위해.
• 특히 소규모에서 중간 규모의 표본 영역에서, 난이도 있는 SSP에 비해 향상된 校정성과 유틸리티를 보여주기 위해.

제안 방법

• 프라이버시 메커니즘으로 충분한 통계량 훼손(SSP)을 사용하여, Bayesian 추론 이전에 충분한 통계량에 노이즈를 주입한다.
• 노이즈가 있는 충분한 통계량을 바탕으로 회귀 계수에 대한 사후분포를 추론하기 위해 MCMC 기반 샘플링을 적용한다.
• 두 가지 추론 방법을 도입한다: 개인 수준의 잠재 공변수를 포함하는 MCMC-Ind와, 개인을 제거하고 공변수 분포의 모멘트만 사용하는 Gibbs-SS.
• 파rameter와 분산에 공동 사전분포를 적용하고, 콘jugate 사전분포를 사용하여 노이즈 하에서 효율적인 사후 업데이트를 가능하게 한다.
• 노이즈가 있는 충분한 통계량을 포함하는 사후 모멘트를 계산하기 위해 NormProduct 서브루틴을 구현하며, 차원 $d$에 대해 세제곱 비용을 가진다.
• Gibbs 샘플링을 사용해 파라미터와 노이즈 성분을 반복적으로 업데이트함으로써, 프라이버시 메커니즘에서 기인한 불확실성의 적절한 전파를 보장한다.

실험 결과

연구 질문

• RQ1 실제 유한 표본 설정에서 프라이버시 노이즈를 忽시할 경우, 난이도 있는 SSP 기반 Bayesian 추론이 불확실성을 잘못 측정하는가?
• RQ2 프라이버시 메커니즘에 기반한 MCMC 기반 추론이 차별적 프라이버시 보장 Bayesian 선형 회귀에서 잘 校정된 사후분포를 생성할 수 있는가?
• RQ3 노이즈 인식 방법의 성능은 난이도 있는 SSP에 비해 사후분포의 校정성과 예측 유틸리티 측면에서 어떻게 다른가?
• RQ4 개인 정보를 제거하고 공변수에 대한 모멘트 기반 가정만 사용함으로써 확장 가능한 추론을 달성할 수 있는가?
• RQ5 데이터 크기와 프라이버시 예산이 개인 정보 보장 사후분포의 校정성에 어떤 영향을 미치는가?

주요 결과

• 난이도 있는 SSP 접근 방식은 소규모에서 중간 규모의 표본 크기에서 체계적으로 불확실성을 과소평가하여, 校정되지 않은 사후분포를 초래한다.
• 노이즈 인식 방법인 Gibbs-SS-Noisy는 실세계 데이터에서 비프라이버시 Bayesian 회귀와 거의 동일한 校정성을 달성하며, 50% 및 90% 신뢰구간이 거의 정확한 커버리지를 보였다.
• Gibbs-SS 방법은 모집단 크기에 관계없이 일정한 런타임을 유지한다. 반면 MCMC-Ind는 선형적으로 증가하여 $n=100$을 초과하면 비현실적이게 된다.
• 노이즈 인식 사후분포와 비프라이버시 사후분포 간의 MMD는 난이도 있는 방법보다 낮거나 동일하여, 더 뛰어난 유틸리티를 나타낸다.
• Gibbs-SS-Noisy는 명시적인 데이터 사전분포가 필요 없이도 실세계 데이터에서 난이도 있는 SSP보다 더 나은 예측 불확실성 측정을 달성한다.
• 행렬 역행렬 계산으로 인해 계산 비용이 $O(d^6)$로 증가하지만, $d \approx 100$일 경우 여전히 실행 가능하다.