[논문 리뷰] CoinPress: Practical Private Mean and Covariance Estimation

Sourav Biswas, Yihe Dong외 2명|arXiv (Cornell University)|2020. 06. 11.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 26

한 줄 요약

CoinPress는 다변량 서브가우시안 데이터의 평균과 공분산을 추정하기 위한 실용적인 비차별적 알고리즘을 소개한다. 이 알고리즘은 반복적인 신뢰구간 기반 접근 방식을 사용하여 공분산에 대한 타원형 경계를 적응적으로 개선한다. 작은 표본 크기에서도 최신 기술 수준의 정확도를 달성하며, 이론적 渐近 오차 경계를 충족하면서도 합성 및 실제 데이터 평가에서 이전 방법들을 능가한다.

ABSTRACT

We present simple differentially private estimators for the mean and covariance of multivariate sub-Gaussian data that are accurate at small sample sizes. We demonstrate the effectiveness of our algorithms both theoretically and empirically using synthetic and real-world datasets -- showing that their asymptotic error rates match the state-of-the-art theoretical bounds, and that they concretely outperform all previous methods. Specifically, previous estimators either have weak empirical accuracy at small sample sizes, perform poorly for multivariate data, or require the user to provide strong a priori estimates for the parameters.

연구 동기 및 목표

• 작은 표본 크기에서 정확한 비차별적 평균 및 공분산 추정기를 설계하는 것.
• 이전 방법들이 다변량 환경에서 성능이 떨어지거나 강력한 사전 파라미터 추정이 필요한 한계를 해결하는 것.
• 예를 들어 평균이나 공분산 행렬에 대한 느슨한 경계와 같은 최소한의 사용자 제공 사전 정보로도 높은 정확도를 유지하는 실용적인 알고리즘을 개발하는 것.
• 합성 데이터와 실제 데이터셋 모두에서 이 방법의 효과성을 입증하고, 사생활 보장 PCA와 같은 후행 작업에 활용 가능한지 검토하는 것.
• 집중적 비차별성 허용 기준 하에서 서브가우시안 평균 및 공분산 추정에 대해 최신 기술 수준의 渐近 오차 비율을 달성하는 것.

제안 방법

• CoinPress는 진짜 공분산을 둘러싸는 타원형 신뢰구간을 유지하면서 반복적으로 개선하는 전략을 사용한다. 이 과정에서 zCDP 준수 노이즈를 사용해 상한선을 점진적으로 좁힌다.
• 알고리즘은 각 반복 단계에서 데이터 공간을 스케일링하여 현재 공분산 상한선이 항등행렬이 되도록 한다. 이를 통해 클리핑 및 노이즈 적용을 단순화한다.
• 각 단계에서, 데이터 포인트를 현재 타원형에 대한 가우시안 尾部 경계 기반으로 클리핑하고, 경험적 공분산의 민감도에 비례해 스케일링된 평균 0인 가우시안 노이즈를 추가하는 비차별적 공분산 추정기(MVC)를 적용한다.
• 경험적 공분산의 민감도는 다음과 같은 보조정리로 제한된다: 모든 데이터 포인트가 $–2$-노름으로 $T$ 이내에 있을 경우, 프로베니우스 민감도는 최대 $\sqrt{2}T/n$ 이다.
• 반복 횟수 $O(\log K)$ 이후, 여기서 $K$는 진짜 공분산에 대한 상한과 하한의 스펙트럼 비율이며, 알고리즘은 최종 추정을 얻기 위해 마지막으로 단순한 클리핑과 노이즈 추가 단계를 수행한다.
• 알고리즘은 경험적 공분산과 대칭 가우시안 행렬의 스펙트럼 노름에 대한 신뢰구간을 활용하여, 타원형 경계가 높은 확률로 유효함을 보장한다.

실험 결과

연구 질문

• RQ1 비차별적 평균 및 공분산 추정기에서 강력한 이론적 오차 경계를 확보하면서도 작은 표본 크기에서 실용적인 정확도를 유지할 수 있는가?
• RQ2 반복적인 신뢰구간 기반 비차별적 추정의 성능은 다변량 환경에서 이전 방법들과 비교해 어떻게 되는가?
• RQ3 데이터 분포에 대한 사전 정보가 매우 약할 경우, 이 방법이 얼마나 정확하게 유지될 수 있는가?
• RQ4 이 알고리즘이 실제 데이터셋에 효과적으로 적용될 수 있으며, 사생활 보장 PCA와 같은 후행 작업의 기초로 사용될 수 있는가?
• RQ5 좋은 성능을 내기 위해 알고리즘이 사전 지식(예: 평균 또는 공분산에 대한 경계)에 얼마나 의존해야 하는가?

주요 결과

• CoinPress는 집중적 비차별성 허용 기준 하에서 서브가우시안 평균 및 공분산 추정에 대해 최신 기술 수준의 이론적 오차 경계를 충족한다.
• 실제 평가에서 이전 방법들보다 뚜렷이 뛰어나며, 특히 작은 표본 크기와 고차원에서 성능이 뛰어나 비차별적 추정기 수준의 오차를 기록한다.
• 평균 추정의 경우, 다변량 데이터에 좌표별로 적용했을 때 Du 등 [DFM+20]의 단변량 방법보다 성능이 향상된다.
• 가장자리가 두꺼운 합성 데이터와 실제 데이터셋에서도 데이터가 정규분포에서 벗어나도 이 방법은 효과적임을 실험으로 입증했다.
• 표본 수 $n = \tilde{\Omega}\left(\left(\frac{d^{2}}{\alpha^{2}} + \frac{d^{2}}{\alpha\sqrt{\rho}} + \frac{\sqrt{d^{3}\log K}}{\sqrt{\rho}}\right)\log\frac{1}{\beta}\right)$ 이면, CoinPress는 $\|\hat{\Sigma}^{-1/2}\Sigma\hat{\Sigma}^{-1/2} - I\|_{F} \leq \alpha$ 를 만족하는 추정치 $\hat{\Sigma}$ 를 확률 $1 - \beta$ 이상으로 반환한다.
• 알고리즘은 약한 사전 정보에 대해 강건하다: 평균이나 공분산에 대한 사전 경계가 매우 느슨할 경우(예: 큰 $R$ 또는 $K$)에도 잘 작동한다.