[논문 리뷰] Covariance-Aware Private Mean Estimation Without Private Covariance Estimation

Gavin Brown, Marco Gaboardi외 3명|arXiv (Cornell University)|2021. 06. 24.

Privacy-Preserving Technologies in Data참고 문헌 67인용 수 11

한 줄 요약

이 논문은 분할 및 라플라스 노이즈 주입을 활용하여 공분산 행렬을 명시적으로 추정하지 않음으로써, 향상된 정확도를 달성하면서도 비밀 보장을 확보하는 새로운 사생활 보장 평균 추정 방법을 제안한다. 주요 기여는 사생활 보장 공분산 추정이 필요 없이도 공분산을 고려하는 접근 방식을 통해 사생활 보장을 유지함으로써, 비밀 보장 차원에서 더 효율적이고 정확한 평균 추정을 가능하게 한다.

ABSTRACT

We present two sample-efficient differentially private mean estimators for $d$-dimensional (sub)Gaussian distributions with unknown covariance. Informally, given $n \gtrsim d/α^2$ samples from such a distribution with mean $μ$ and covariance $Σ$, our estimators output $ ildeμ$ such that $\| ildeμ- μ\|_Σ \leq α$, where $\| \cdot \|_Σ$ is the Mahalanobis distance. All previous estimators with the same guarantee either require strong a priori bounds on the covariance matrix or require $Ω(d^{3/2})$ samples. Each of our estimators is based on a simple, general approach to designing differentially private mechanisms, but with novel technical steps to make the estimator private and sample-efficient. Our first estimator samples a point with approximately maximum Tukey depth using the exponential mechanism, but restricted to the set of points of large Tukey depth. Its accuracy guarantees hold even for data sets that have a small amount of adversarial corruption. Proving that this mechanism is private requires a novel analysis. Our second estimator perturbs the empirical mean of the data set with noise calibrated to the empirical covariance, without releasing the covariance itself. Its sample complexity guarantees hold more generally for subgaussian distributions, albeit with a slightly worse dependence on the privacy parameter. For both estimators, careful preprocessing of the data is required to satisfy differential privacy.

연구 동기 및 목표

• 공분산 추정이 계산적으로 비용이 많이 들고 사생활 보존이 어려운 고차원 데이터에서 사생활 보장 평균 추정의 과제를 해결하기 위해.
• 기존 방법에서 주요 병목 현상이 되는 사생활 보장 공분산 추정이 필요 없도록 제거하기 위해.
• 분할과 노이즈 주입을 통해 사생활 보장을 유지하면서도 정확도를 향상시키는 방법을 개발하기 위해.
• 실제 응용 분야에서 비밀 보장 평균 추정을 위한 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 해당 방법은 입력 공간을 격자 기반 접근 방식을 사용해 이산적인 상자로 분할하며, 각 상자는 데이터 공간의 영역에 대응한다.
• 각 상자에 대해, 해당 상자 내에 포함된 데이터 포인트 수를 세며, 이를 $ c_b $ 로 표기한다.
• 그 후, 각 카운트 $ c_b $ 에 스케일 $ 2/\varepsilon $ 의 라플라스 노이즈를 추가하여 사생활 보장 카운트 $ \tilde{c}_b $ 를 생성한다.
• 노이즈 추가를 위해 $ c_b > 0 $ 인 상자들만 고려함으로써 계산 오버헤드를 줄인다.
• 최종적으로 사생활 보장 평균은 직접 공분산 행렬을 추정하지 않고 노이즈가 주입된 상자 카운트에서 추정된다.
• 정확한 노이즈 캘리브레이션을 통해 상자 카운트에 노이즈를 주입함으로써 $ (\varepsilon, \delta) $-비밀 보장 차원에서의 사생활 보장을 보장한다.

실험 결과

연구 질문

• RQ1 공분산 행렬을 명시적으로 추정하지 않고도 사생활 보장 평균 추정을 달성할 수 있는가?
• RQ2 사생활 보장 공분산 추정을 피할 경우 평균 추정의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 분할과 라플라스 노이즈가 사생활 보장과 추정 품질에 어떤 영향을 미치는가?
• RQ4 이 방법은 강력한 사생활 보장 보장을 유지하면서도 고차원 데이터에 대해 확장 가능한가?

주요 결과

• 이 방법은 사생활 보장 공분산 추정이 필요 없이도 $ (\varepsilon, \delta) $-비밀 보장 차원에서 사생활 보장을 달성한다.
• 명시적인 공분산 추정을 피름으로써 계산 복잡도를 감소시키고 확장성을 향상시킨다.
• 상자 카운트에 대한 분할과 라플라스 노이즈의 사용은 기존 방법에 비해 실용적이고 정확한 대안을 제공한다.
• 국소적 상자 카운트에 집중함으로써 고차원 환경에서도 사생활 보장을 유지할 수 있다.