[논문 리뷰] Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees

Di Wang, Jiahao Ding외 4명|arXiv (Cornell University)|2020. 10. 22.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 6

한 줄 요약

이 논문은 유한 표본 통계 보장을 갖춘 최초의 미분적 비밀보장성(DP) 기반 기울기 기반 기대최대화(EM) 알고리즘을 제안하며, 무거운 尾를 가진 분포의 평균을 비밀스럽게 추정하기 위한 새로운 메커니즘을 활용한다. 이는 가우시안 혼합 모델(GMM)에 대해 $\tilde{O}(d/\sqrt{n\epsilon})$의 근사 최적 추정 오차 경계를, 혼합 회귀 모델(MRM) 및 누락 공변수를 가진 선형 회귀 모델(RMC)에 대해 $\tilde{O}(d^{3/2}/\sqrt{n\epsilon})$의 근사 최적 추정 오차 경계를 달성하며, 국지적 미분적 비밀보장성(local DP) 모델로의 확장도 가능하다.

ABSTRACT

(Gradient) Expectation Maximization (EM) is a widely used algorithm for estimating the maximum likelihood of mixture models or incomplete data problems. A major challenge facing this popular technique is how to effectively preserve the privacy of sensitive data. Previous research on this problem has already lead to the discovery of some Differentially Private (DP) algorithms for (Gradient) EM. However, unlike in the non-private case, existing techniques are not yet able to provide finite sample statistical guarantees. To address this issue, we propose in this paper the first DP version of (Gradient) EM algorithm with statistical guarantees. Moreover, we apply our general framework to three canonical models: Gaussian Mixture Model (GMM), Mixture of Regressions Model (MRM) and Linear Regression with Missing Covariates (RMC). Specifically, for GMM in the DP model, our estimation error is near optimal in some cases. For the other two models, we provide the first finite sample statistical guarantees. Our theory is supported by thorough numerical experiments.

연구 동기 및 목표

• 기존의 미분적 비밀보장성 기반 EM 알고리즘들이 유한 표본 통계 보장을 제공하지 못하는 문제를 해결하기 위해.
• 이전 연구를 개선하고 국지적 미분적 비밀보장성으로까지 확장 가능한, 중도 분포에 적합한 새로운 비밀스러운 평균 추정 메커니즘을 설계하기 위해.
• 기울기 기반 기대최대화(DP-Gradient EM)의 유한 표본 통계 오차 경계를 최초로 확립하기 위해, 대표적인 모델인 GMM, MRM, RMC에 대해.
• 제안된 DP-기울기 기반 기대최대화 프레임워크의 이론적 및 실증적 검증을 실제 데이터와 시뮬레이션 데이터를 통해 수행하기 위해.

제안 방법

• Wang 등(2020)의 분석을 더 세밀하게 다루어 무거운 尾 분포에 특화된 개선된 비밀스러운 평균 추정 메커니즘을 제안한다.
• 이 메커니즘을 DP-기울기 기반 기대최대화 프레임워크에 적용하여, 정교한 노이즈 캘리브레이션을 통해 $ (\epsilon,\delta) $-미분적 비밀보장성 보장을 확보한다.
• EM 업데이트 단계에서 기울기 함수의 민감도를 제어하기 위해 초지수(norm) 분석을 사용한다.
• 기울기 성분의 농도 불확실성과 초지수 尾 성질을 활용하여 추정 오차 경계를 유도한다.
• 비밀스러운 평균 메커니즘을 국지적 미분적 비밀보장성 모델로 확장하여, 분산 처리 환경에서도 적용 가능하도록 한다.
• 반복 업데이트에서 수렴성과 오차 전파 제어를 보장하기 위해 유한한 초기화 영역 $ \mathcal{B} $를 사용한다.

실험 결과

연구 질문

• RQ1 미분적 비밀보장성 기반 기울기 기반 기대최대화 알고리즘이 비공개 대비와 유사한 유한 표본 통계 오차 경계를 달성할 수 있는가?
• RQ2 무거운 尾 분포에 대해 비밀스러운 평균 추정을 어떻게 개선하여, DP 하에서 강력한 통계 학습을 지원할 수 있는가?
• RQ3 GMM, MRM, RMC와 같은 대표적 모델에서 DP-기울기 기반 기대최대화 알고리즘이 달성할 수 있는 최적의 추정 오차율은 무엇인가?
• RQ4 제안된 비밀스러운 평균 추정 메커니즘은 국지적 DP 모델으로까지 확장 가능하여 분산 처리 환경에서의 적용 가능성을 넓힐 수 있는가?
• RQ5 이론적 오차 경계는 비밀보장 설정에서의 최소 최악의 경우 경계(minimax optimal rates)와 어떻게 비교되는가?

주요 결과

• 제안된 DP-기울기 기반 기대최대화 알고리즘은 가우시안 혼합 모델(GMM)에 대해 $ \tilde{O}(d/\sqrt{n\epsilon}) $의 추정 오차를 달성하며, 특정 조건에서는 근사 최적이다.
• 혼합 회귀 모델(MRM) 및 누락 공변수를 가진 선형 회귀 모델(RMC)에 대해, 유한 표본 통계 보장을 최초로 확립하며, 오차 경계는 $ \tilde{O}(d^{3/2}/\sqrt{n\epsilon}) $이다.
• Wang 등(2020)의 이전 연구를 개선하여, 더 엄밀한 분석과 더 나은 尾 제어를 제공함으로써 무거운 尾 데이터에 대한 성능을 향상시켰다.
• 이 메커니즘은 국지적 미분적 비밀보장성 모델로까지 확장 가능한 최초의 메커니즘이며, 분산 처리 환경에서의 적용 가능성을 넓혔다.
• 실제 데이터 및 시뮬레이션 데이터를 대상으로 한 수치 실험을 통해 이론적 오차 경계가 검증되었으며, 비밀보장 조건 하에서도 안정적인 수렴을 보였다.
• 이론적 분석을 통해 적절한 초기화 조건 하에서 DP-기울기 기반 기대최대화 알고리즘이 높은 확률로 유한한 추정 오차를 갖는 해에 수렴함을 확인했다.