[논문 리뷰] Practical Privacy For Expectation Maximization.

Mijung Park, Jimmy Foulds외 2명|arXiv (Cornell University)|2016. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 8

한 줄 요약

이 논문은 농축된 미분적 비밀유지(CDP) 하에서 데이터의 충분통계량(모멘트)을 흐리게 하는 방식으로 기대치 최대화(EM) 알고리즘을 위한 실용적인 비밀유지 알고리즘을 제안한다. 이로 인해 반복 횟수에 관계없이 정확도를 유지하면서도 비밀유지 예산을 줄일 수 있으며, 지수족 모형에서는 표준 DP 및 (ε,δ)-DP보다 우수한 성능을 보인다.

ABSTRACT

Expectation maximization (EM) is an iterative algorithm that computes maximum likelihood and maximum a posteriori estimates for models with unobserved variables. While widely used, the iterative nature of EM presents challenges for privacy-preserving estimation. Multiple iterations are required to obtain accurate parameter estimates, yet each iteration increases the amount of noise that must be added to achieve a reasonable degree of privacy. We propose a practical algorithm that overcomes this challenge and outputs EM parameter estimates that are both accurate and private. Our algorithm focuses on the frequent use case of models whose joint distribution over observed and unobserved variables remains in the exponential family. For these models, the EM parameters are functions of moments of the data. Our algorithm leverages this to preserve privacy by perturbing the moments, for which the amount of additive noise scales naturally with the data. In addition, our algorithm uses a relaxed notion of the differential privacy (DP) gold standard, called concentrated differential privacy (CDP). Rather than focusing on single-query loss, CDP provides high probability bounds for cumulative privacy loss, which is well suited for iterative algorithms. For mixture models, we show that our method requires a significantly smaller privacy budget for the same estimation accuracy compared to both DP and its (epsilon, delta)-DP relaxation. Our general approach of moment perturbation equipped with CDP can be readily extended to many iterative machine learning algorithms, which opens up various exciting future directions.

연구 동기 및 목표

• 반복적인 EM 알고리즘에서 반복 횟수가 늘어나면서 누적되는 비밀유지 손실 문제를 해결하기 위해.
• 특히 관측되지 않은 변수를 포함한 모형에서 정확한 모수 추정을 위해 필요한 비밀유지 예산을 줄이기 위해.
• 강력한 비밀유지 보장을 확보하면서도 높은 추정 정확도를 유지하는 실용적인 방법을 개발하기 위해.
• 모멘트 흐림처리와 CDP를 활용하여 반복적인 기계학습 알고리즘(예: EM)에 대한 미분적 비밀유지의 적용 범위를 확장하기 위해.
• 농축된 미분적 비밀유지(CDP)가 반복적인 EM 과정에서 표준 DP보다 더 날카운 비밀유지 경계를 제공함을 보여주기 위해.

제안 방법

• 원시 데이터나 모델 파라미터가 아닌 충분통계량(모멘트)을 흐리게 하여 데이터 표현 수준에서 비밀유지를 보장한다.
• EM 파라미터가 지수족 모형에서 모멘트의 함수임을 활용하여, 모멘트의 왜곡을 통해 비밀유지 추정을 가능하게 한다.
• 반복 알고리즘에 더 적합한 누적 비밀유지 손실의 고확률 경계를 제공하는 농축된 미분적 비밀유지(CDP)를 사용한다. 이는 표준 DP보다 반복 알고리즘에 더 적합하다.
• 소음은 데이터 크기 비례로 모멘트에 추가되며, 이로 인해 비밀유지 비용이 반복 횟수가 아닌 데이터 양에 따라 자연스럽게 증가한다.
• 관측된 변수와 관측되지 않은 변수의 결합 분포가 여전히 지수족에 속하는 모형을 대상으로 하여 분석적 해법의 가능성을 확보한다.
• 표준 (ε,δ)-DP의 엄격한 요구 조건을 완화하기 위해 CDP를 사용하여 반복 설정에서 더 날카운 비밀유지 계측과 향상된 유틸리티를 달성한다.

실험 결과

연구 질문

• RQ1 농축된 미분적 비밀유지(CDP) 하에서 모멘트 흐림처리가 반복 알고리즘에서 정확한 EM 추정을 위해 필요한 비밀유지 예산을 줄일 수 있는가?
• RQ2 지수족 모형의 혼합 모델에서 CDP는 표준 DP 및 (ε,δ)-DP와 비교해 비밀유지-유틸리티 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ3 모델 파라미터가 아닌 충분통계량을 흐리게 하는 방식이 지수족 모형의 EM에서 더 나은 정확도-비밀유지 트레이드오프를 이끌 수 있는가?
• RQ4 EM 알고리즘에서 비밀유지 비용을 반복 횟수 대신 데이터 크기 비례로 자연스럽게 스케일링할 수 있는가? 이는 실용성 향상에 기여하는가?
• RQ5 이 방법은 EM을 초월해 다른 반복적인 기계학습 알고리즘으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 동일한 정확도 수준에서 표준 DP 및 (ε,δ)-DP보다 혼합 모형에서 훨씬 낮은 비밀유지 예산을 요구한다.
• 모멘트 흐림처리와 CDP를 사용함으로써, 표준 DP보다 반복 과정에서 비밀유지 손실이 더 유리하게 누적된다.
• 소음은 모멘트 수준에 추가되기 때문에 데이터의 통계적 구조를 유지함으로써 높은 추정 정확도를 유지는 데 기여한다.
• 비밀유지 비용이 데이터 크기에 따라 자연스럽게 스케일링되므로, 표준 DP에서 관찰되는 반복적 누적 소음 문제를 피할 수 있다.
• 이 방법은 지수족 모형에서 충분통계량에 의존하는 다른 반복적 기계학습 알고리즘으로도 일반화 가능하다.
• CDP의 사용은 더 날카운 비밀유지 계측을 가능하게 하여, 민감한 응용 분야에서의 실질적 구현에 더 적합한 방법이 된다.