[논문 리뷰] A Private and Computationally-Efficient Estimator for Unbounded Gaussians

Gautam Kamath, Argyris Mouzakis외 3명|arXiv (Cornell University)|2021. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 6

한 줄 요약

이 논문은 $\mathbb{R}^d$ 내에서 유계가 아닌 가우시안 분포의 평균과 공분산에 대한 최초의 비밀리적이고 다항시간, 다항표본 추정기인 것을 제시한다. 새로운 비밀리적 전처리기(preconditioner)를 도입하여 공분산의 조건수를 일정하게 만들며, 평균이나 공분산에 대한 사전 경계가 없이도 정확한 추정이 가능하게 하여, 비밀리성 파rameter에 대해 다항로그(비례) 의존성을 가지며 최적의 표본 복잡도를 달성한다.

ABSTRACT

We give the first polynomial-time, polynomial-sample, differentially private estimator for the mean and covariance of an arbitrary Gaussian distribution $\mathcal{N}(μ,Σ)$ in $\mathbb{R}^d$. All previous estimators are either nonconstructive, with unbounded running time, or require the user to specify a priori bounds on the parameters $μ$ and $Σ$. The primary new technical tool in our algorithm is a new differentially private preconditioner that takes samples from an arbitrary Gaussian $\mathcal{N}(0,Σ)$ and returns a matrix $A$ such that $A ΣA^T$ has constant condition number.

연구 동기 및 목표

• 평균 $\mu$ 또는 공분산 $\Sigma$ 에 대한 사전 경계가 없이도 $\mathbb{R}^d$ 내 임의의 가우시안 분포의 평균과 공분산에 대한 비밀리적 추정기를 설계하는 것.
• 이전의 비밀리적 추정기들이 $R$과 $K$에 대한 사전 경계가 필요로 하여 느슨한 경계를 사용할 경우 정확도가 떨어지는 한계를 극복하는 것.
• 비밀리성과 정확한 추정을 유지하면서도 다항시간 및 다항표본 복잡도를 달성하며, 약한 $(\varepsilon,\delta)$-비밀리성에 대해 작동하는 것.
• 데이터를 변환하여 결과적으로 공분산의 조건수가 일정해지도록 하는 비밀리적 전처리기를 개발하여 안정적인 추정을 가능하게 하는 것.

제안 방법

• 독립 동일분포 표본을 $\mathcal{N}(0,\Sigma)$ 에서 취하고, $A\Sigma A^T$ 의 조건수가 일정해지도록 하는 비밀리적 전처리기 $A$ 를 출력하는 방법을 도입한다.
• 전처리된 표본 $AX$ 를 사용하여 감도가 유계인 단순 비밀리적 추정기를 통해 변환된 공분산을 추정한다.
• 역변환 $\widehat{\Sigma} = A^{-1}\Sigma' A^{-1}$ 을 적용하여 원래의 공분산 추정치를 복원한다.
• 공분산 $\Sigma$ 가 영 고유값을 가질 경우의 퇴화된 경우를 다루기 위해, 별도의 알고리즘을 사용하여 비영 고유값을 가진 부분공간을 먼저 식별하고, 데이터를 그 부분공간에 투영한다.
• 전처리기를 비밀리적 평균 추정 알고리즘(PME)과 결합하여, 안정성 기반 히스토그램을 사용하여 범위 파rameter $R$ 의 의존도를 제거한다.
• 합성 및 후처리를 통해 비밀리성을 보장하며, 전처리기와 비밀리적 추정기의 비밀리성 보장을 활용한다.

실험 결과

연구 질문

• RQ1 평균 또는 공분산 파rameter에 대한 사전 경계가 없이도, 비밀리적 추정기를 구성하여 유계가 아닌 가우시안 분포의 평균과 공분산을 추정할 수 있는가?
• RQ2 변환된 공분산의 조건수가 일정해지도록 보장하는 비밀리적 전처리기를 설계할 수 있는가? 이는 효율적이고 정확한 추정을 가능하게 한다.
• RQ3 표본 복잡도를 $d$ 와 역정확도 $\alpha$ 에 대해 다항식으로 만들고, 비밀리성 파rameter $\varepsilon$, $\delta$, 실패 확률 $\beta$ 에 대해 다항로그(비례) 의존성만 유지할 수 있는가?
• RQ4 약한 비밀리성에서 비밀리적 평균 추정에 있어 사전 범위 파arameter $R$ 에 대한 의존도를 어떻게 제거할 수 있는가?

주요 결과

• 제안된 추정기는 표본 복잡도 $\widetilde{O}\left(\frac{d^2}{\alpha^2} + \frac{d^2}{\varepsilon\alpha} + \frac{d^{2.5}}{\varepsilon}\right)$ 를 가지며, $(\varepsilon,\delta)$-비밀리성에 대해 작동한다. 이는 $d$ 와 $1/\alpha$ 에 대해 다항식이며, $1/\varepsilon$, $1/\delta$, $1/\beta$ 에 대해 다항로그(비례) 의존성을 가진다.
• 추정기는 확률 $1 - O(\beta)$ 이상에서 $\|\widehat{\Sigma} - \Sigma\|_{\Sigma} \leq \alpha$ 와 $\|\widehat{\mu} - \mu\|_{\Sigma} \leq \alpha$ 를 만족하는 정확한 추정치를 제공한다.
• 비밀리적 전처리기와 안정성 기반 비밀리적 평균 추정기를 사용함으로써, 이전 방법에서 나타나는 $R$과 $K$에 대한 선형 의존도를 제거한다.
• 전처리기는 변환된 공분산 $A\Sigma A^T$ 가 조건수가 일정함을 보장하여, 단순 비밀리적 추정기를 통해 안정적이고 정확한 추정이 가능하게 한다.
• 저랭크 공분산을 가진 퇴화된 가우시안 분포의 경우, 별도의 알고리즘을 사용하여 비영 부분공간을 먼저 식별하고, 그 부분공간에서 추정기를 적용함으로써 비밀리성과 정확도를 유지한다.