[논문 리뷰] Differentially Private Bayesian Inference for Generalized Linear Models

Tejas Kulkarni, Joonas Jälkö외 3명|arXiv (Cornell University)|2020. 11. 01.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 5

한 줄 요약

이 논문은 일반선형모형(GLMs), 예를 들어 로지스틱 회귀 및 포아송 회귀와 같은 모형에 대해, 저차수 데이터 모멘트를 통해 충분통계량을 근사하고 요약통계 수준에서 한 번만 노이즈를 주입함으로써 노이즈 인식형 차별적(private) 베이지안 추론 방법을 제안한다. 이 방법은 강력한 프라이버시 보장을 받는 동안 정확한 사후 추정과 불확실성 측정을 가능하게 하며, 다양한 데이터셋과 프라이버시 예산에서 기존의 DP-SGLD 기준선보다 사후 정밀도와 안정성 면에서 뛰어나다.

ABSTRACT

Generalized linear models (GLMs) such as logistic regression are among the most widely used arms in data analyst's repertoire and often used on sensitive datasets. A large body of prior works that investigate GLMs under differential privacy (DP) constraints provide only private point estimates of the regression coefficients, and are not able to quantify parameter uncertainty. In this work, with logistic and Poisson regression as running examples, we introduce a generic noise-aware DP Bayesian inference method for a GLM at hand, given a noisy sum of summary statistics. Quantifying uncertainty allows us to determine which of the regression coefficients are statistically significantly different from zero. We provide a previously unknown tight privacy analysis and experimentally demonstrate that the posteriors obtained from our model, while adhering to strong privacy guarantees, are close to the non-private posteriors.

연구 동기 및 목표

• 일반선형모형(GLMs)에 대해 차별적(private) 베이지안 추론을 가능하게 하되, 이는 널리 사용되지만 일반적으로 DP 하에서 불확실성 측정이 부족한 경우이다.
• 입력 데이터 X도 민감한 분류 모델인 회귀 분석과 같은 비모수적 모델에서의 프라이버시 추론 문제를 해결한다.
• 프라이버시 노이즈가 사후 불확실성에 미치는 영향을 정량화할 수 있는 방법을 개발하여 계수의 유의성에 대한 통계적 추론을 가능하게 한다.
• 기존의 충분통계량 기반 DP 베이지안 방법을 선형 모형을 넘어서 광범위한 GLMs 클래스로 확장한다.
• 엄밀한 프라이버시 분석을 제공하고 실세계 데이터셋에 대한 실증적 평가를 통해 유틸리티를 입증한다.

제안 방법

• 이 방법은 GLMs에서 입력과 출력의 결합분포를 유한차수 모멘트를 사용하여 근사 충분통계량으로 근사한다.
• 중앙극한정리 기반 정규근사법을 도입하여 변형된 모멘트를 모델링함으로써 효율적인 사후 계산을 가능하게 한다.
• 변형된 요약통계량의 민감도를 사전분포에 통합하여 노이즈 인식형 사전분포를 구성한다.
• 모델 파라미터를 노이즈가 첨가된 요약통계량에 맞추기 위해 모멘트 매칭을 사용함으로써 변형된 데이터와의 일致성을 확보한다.
• DP 메커니즘에 대해 엄밀한 민감도 분석을 수행하여, 조합 정리와 함께 가우시안 메커니즘을 사용한 정확한 프라이버시 회계를 가능하게 한다.
• 이 방법은 로지스틱 회귀와 포아송 회귀를 실용적 예시로 사용하며, 다른 지수족 모형으로의 확장 가능성도 제공한다.

실험 결과

연구 질문

• RQ1 충분통계량이 없는 일반선형모형(GLMs)에 대해, 프라이버시 노이즈로 인한 불확실성 측정을 동시에 수행하면서 차별적(private) 베이지안 추론을 효과적으로 적용할 수 있는가?
• RQ2 입력 데이터도 프라이버시가 보장되어야 하는 상황에서, DP 과정 중에 주입된 노이즈를 고려하여 사전분포를 어떻게 구성할 수 있는가?
• RQ3 충분통계량의 모멘트 기반 근사가 GLMs에서 사후 정확도와 프라이버시-유틸리티 트레이드오프에 어떤 영향을 미치는가?
• RQ4 DP-SGLD와 같은 기존 DP 베이지안 추론 기준선과 비교할 때, 제안된 방법은 사후 정밀도와 안정성 측면에서 어떻게 다른가?
• RQ5 특히 계수 크기가 작은 모형에서 강력한 프라이버시 제약(예: ε ≤ 0.1) 하에서도 높은 유틸리티를 유지할 수 있는가?

주요 결과

• 강력한 프라이버시 제약(ε ≤ 0.1) 하에서도 어른(adult) 및 당뇨(diabetes) 데이터셋에서 제안된 방법을 사용해 확보한 사후분포는 비프라이버시 사후분포와 유사하다.
• DP-SGLD 기준선의 사후분포는 매우 변동성이 크며, 편향이 있거나 과신하거나 과소신임을 보이며 사후 추정의 불안정성을 보였다.
• 진짜 계수 θ = [-0.9, -0.5, 0.3]를 가진 시뮬레이션 데이터에서 ε > 0.1일 경우, 비프라이버시 사후분포와의 경험적 CDF가 거의 겹치며 강력한 사후 복원을 보였다.
• 콜모고로프-스미르노프 점수는 ε 감소와 함께 감소하는 경향을 보였으며, 이는 다양한 프라이버시 예산에서 정확도를 유지함을 확인했다.
• ||θ||₂ ≥ 3일 경우 정확도가 급격히 떨어지며, 이는 계산비용 절감을 위해 사용된 타일러 급수 근사의 절단으로 인한 것으로 보인다.
• 민감도 분석을 통해 엄밀한 프라이버시 회계가 가능하며, 요약통계량을 한 번만 노이즈 처리함으로써 프라이버시 비용이 한 번만 발생한다. 이는 DP-SGLD와 같이 반복적 방법과는 다르다.