[논문 리뷰] Mean Estimation with User-level Privacy under Data Heterogeneity

Rachel Cummings, Vitaly Feldman외 2명|arXiv (Cornell University)|2023. 07. 28.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 이질적인 사용자 데이터에 대해 비밀성 보장이 보장된 평균 추정 알고리즘을 제안한다. 여기서 사용자들은 서로 다른 분포에서 유래한 다양한 수의 샘플을 기여한다. 비밀성 보장이 보장된 사용자 수준에서 점 渐진적으로 최적의 오차를 달성하기 위해, 데이터 이질성과 알려지지 않은 분산에 적응하는 비선형, 절단 기반 추정기를 사용하며, 이는 비밀성 보장이 추정 오차에 점 渐진적으로 비용을 초래하지 않는다는 것을 증명한다.

ABSTRACT

A key challenge in many modern data analysis tasks is that user data are heterogeneous. Different users may possess vastly different numbers of data points. More importantly, it cannot be assumed that all users sample from the same underlying distribution. This is true, for example in language data, where different speech styles result in data heterogeneity. In this work we propose a simple model of heterogeneous user data that allows user data to differ in both distribution and quantity of data, and provide a method for estimating the population-level mean while preserving user-level differential privacy. We demonstrate asymptotic optimality of our estimator and also prove general lower bounds on the error achievable in the setting we introduce.

연구 동기 및 목표

• 사용자 수준의 데이터 이질성, 즉 사용자가 다른 샘플 크기와 분포를 가진 환경에서 평균 추정의 과제를 해결한다.
• 분포 및 샘플 크기의 이질성에도 불구하고 사용자 수준의 비밀성 보장을 유지하면서 추정 정확도를 유지하는 비밀성 보장 알고리즘을 개발한다.
• 제안된 추정기가 점 渐진적으로 최적의 오차를 달성하며, 비밀성 제약 조건으로 인한 추가 비용이 없다는 것을 입증한다.
• 이질적이고 비밀성 보장된 환경에서의 추정 오차에 대한 일반적인 하한을 설정하여 기본 한계를 규명한다.
• 기본 메타분포와 데이터 이질성에 대한 약한 가정 하에 추정기 성능에 대한 이론적 보장을 제공한다.

제안 방법

• 각 사용자의 데이터가 $[0,1]$ 구간에 있는 알려지지 않은 메타분포 $ \mathcal{D} $ 에서 추출된 $ p_i $ 를 평균으로 하는 이항분포에서 유래된 모델을 도입한다.
• 추정된 분산과 샘플 크기에 기반해 사용자 기여를 적응적으로 절단하는 비선형, 비밀성 보장 추정기를 제안한다.
• 두 단계 추정 과정을 사용한다: 먼저 전체 평균 $ p $ 와 분산 $ \sigma_p^2 $ 를 추정하고, 그 다음 개인 사용자 추정치에 대해 비밀성 보장 절단을 적용한다.
• 고급 복합 정리에 의한 비밀성 강화와 메타분포 및 이항 샘플링에 대한 농도 경계를 적용한다.
• 비밀성 보장과 정확도를 유지하기 위해 설계된 절단 간격 $[\widehat{a}_i, \widehat{b}_i]$ 는 이상적인 간격 너비의 상수 배수로 제한된다.
• 메타분포와 이항 샘플링에 대한 고확률 경계를 활용하여 추정기의 강건성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 사용자 수준의 데이터 이질성이 존재하는 상황에서 비밀성 보장 평균 추정기가 점 渐진적으로 최적의 오차를 달성할 수 있는가?
• RQ2 사용자 데이터 분포와 샘플 크기가 다양할 경우, 비밀성과 추정 정확도 사이의 기본적인 상충 관계는 무엇인가?
• RQ3 전체 분산이 알려지지 않은 상태에서 비밀성 보장의 가격이 점 渐진적으로 사라지는가?
• RQ4 각 사용자당 샘플 수와 기저 분포의 이질성에 모두 적응하는 비밀성 보장 추정기를 어떻게 설계할 수 있는가?
• RQ5 이 이질적이고 비밀성 보장된 평균 추정 환경에서 추정 오차에 대한 가장 날카로운 하한은 무엇인가?

주요 결과

• 제안된 비밀성 보장 추정기는 $ \tilde{O}(\sigma_{\text{ideal}}^2) $ 의 분산을 달성하며, 이는 비비밀 기반 최적 분산과 로그 인자 수준에서 일치한다.
• 추정기는 비선형이며, 선형 추정기는 데이터 이질성 하에서 최적의 비밀성 보장 평균 추정을 달성하는 데 부적합하다는 것을 보여준다.
• 약한 가정 하에 비밀성 보장 추정기의 점 渐진적 오차는 비비밀 기반 하한과 일치하며, 이는 비밀성 보장으로 인한 점 渐진적 비용이 없다는 것을 의미한다.
• 추정기에서 사용된 절단 간격의 너비는 이상적인 간격 너비의 상수 배수(6) 이내로 제한되어 있어 강건성을 보장한다.
• 새로운 하한 기법을 개발하여, 주어진 모델과 비밀성 제약 조건 하에서 $ \sigma_{\text{ideal}}^2 $ 가 달성 가능한 최적 분산과 가깝다는 것을 입증한다.
• 전체 분산 $ \sigma_p^2 $ 가 알려지지 않은 상태에서도 방법이 효과적이며, 추정기는 적응적 절단과 분산 추정을 통해 적응한다.