[논문 리뷰] New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma

Gautam Kamath, Argyris Mouzakis외 1명|arXiv (Cornell University)|2022. 05. 17.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 약한 차별적 비밀유지($\varepsilon,\delta$-DP) 하에서의 차별적 비밀유지 추정에 대해 날카운 하한을 확립한다. 지수가족에 대해 일반화된 지문법을 도입하여, 프로베니우스 및 스펙트럴 노름에서 사고정렬 추정에 대해 각각 $\Omega(d^2)$ 및 $\Omega(d^{3/2})$의 표본 복잡도 하한을 증명하고, 유한한 공분산 조건 하에서 평균 추정에 대해 $\Omega(d/(\alpha^2\varepsilon))$의 하한을 도출한다. 이러한 결과들은 문헌에서의 격차를 메우며, 스펙트럴 추정에 대해 통계적 비밀유지 격차를 확인한다.

ABSTRACT

We prove new lower bounds for statistical estimation tasks under the constraint of $(\varepsilon, δ)$-differential privacy. First, we provide tight lower bounds for private covariance estimation of Gaussian distributions. We show that estimating the covariance matrix in Frobenius norm requires $Ω(d^2)$ samples, and in spectral norm requires $Ω(d^{3/2})$ samples, both matching upper bounds up to logarithmic factors. The latter bound verifies the existence of a conjectured statistical gap between the private and the non-private sample complexities for spectral estimation of Gaussian covariances. We prove these bounds via our main technical contribution, a broad generalization of the fingerprinting method to exponential families. Additionally, using the private Assouad method of Acharya, Sun, and Zhang, we show a tight $Ω(d/(α^2 \varepsilon))$ lower bound for estimating the mean of a distribution with bounded covariance to $α$-error in $\ell_2$-distance. Prior known lower bounds for all these problems were either polynomially weaker or held under the stricter condition of $(\varepsilon, 0)$-differential privacy.

연구 동기 및 목표

• 약한 차별적 비밀유지 하에서의 비밀유지 통계적 추정의 표본 복잡도 이해에 있어 격차를 메우기 위해, 특히 공분산 및 평균 추정에 초점을 맞춘다.
• 이전 기법이 실패하는 $\varepsilon,\delta$-DP 하에서 상관된 추정 문제(예: 가우시안 공분산 추정)에 대해 날카운 하한이 부족한 문제를 해결한다.
• 제품 분포를 초월해 지수가족으로 지문법을 일반화하여, 상관된 모델에 대한 더 넓은 적용 가능성을 가능하게 한다.
• 스펙트럴 노름 공분산 추정에 대해 비밀유지 및 비비밀유지 추정 간의 통계적 비밀유지 격차를 확인한다.
• 순수 DP($\delta=0$) 설정을 초월해 더 약한 비밀유지 제약 조건 하에서도 성립하는 하한을 제공하며, 알려진 상한과 로그 인자까지 일치시킨다.

제안 방법

• BUV14의 지문법을 지수가족으로 일반화하여, 가우시안과 같은 상관된 분포에 대한 하한을 가능하게 한다.
• 결합 조건 하에서 지수가족 분포 혼합 간의 발산을 특징짓는 새로운 기법적 보조정리(보조정리 3.2)를 도입한다.
• 아추아, 선, 장(2021)의 비밀유지 아소드 방법을 사용하여, 유한한 두 번째 모멘트 조건 하에서 평균 추정에 대한 하한을 유도한다.
• 비밀유지 메커니즘의 최악의 경우 시나리오를 시뮬레이션하기 위해, 통제된 근사와 의존성을 가진 특정 분포를 구성한다.
• 결합 원리와 발산 하한(예: $D \geq \frac{0.04}{\varepsilon + \delta}$)을 적용하여 비밀유지 손실과 표본 복잡도를 연결한다.
• 공분산 행렬의 구조적 성질과 행렬 노름을 활용해 스펙트럴 노름 추정을 프로베니우스 노름으로 환원한다.

실험 결과

연구 질문

• RQ1 가우시안 분포의 공분산 행렬에 대한 비밀유지 추정에 있어 $\varepsilon,\delta$-차별적 비밀유지 하에서 최적의 표본 복잡도는 무엇인가?
• RQ2 가우시안 공분산 행렬의 스펙트럴 노름 추정에 대해 비밀유지 및 비비밀유지 표본 복잡도 사이에 통계적 격차가 존재하는가?
• RQ3 지문법은 제품 분포를 초월해 상관된 모델(예: 지수가족)을 다룰 수 있도록 일반화될 수 있는가?
• RQ4 유한한 공분산 조건 하에서 $\ell_2$-오차 기준으로 $\varepsilon,\delta$-DP 하에서 비밀유지 평균 추정에 대해 가장 날카운 하한은 무엇인가?
• RQ5 하한은 더 큰 오차 영역($\alpha = \Omega(\sqrt{d})$) 또는 높은 확률 성공($1-\beta$) 설정으로 확장될 수 있는가?

주요 결과

• 논문은 $\varepsilon,\delta$-DP 하에서 프로베니우스 노름 기준 비밀유지 공분산 추정에 대해 날카운 $\Omega(d^2)$ 하한을 확립하며, 알려진 상한과 로그 인자까지 일치한다.
• 스펙트럴 노름 기준으로 가우시안 공분산 행렬 추정에 대해 $\Omega(d^{3/2})$ 하한을 증명하여 오랫동안 추측되어 온 통계적 비밀유지 격차를 확인한다.
• 일반화된 지문법은 지수가족에 대해 하한을 가능하게 하여, 이전 기법이 독립된 근사 조건을 요구했던 제약을 극복한다.
• 유한한 공분산 조건 하에서 비밀유지 평균 추정에 대해 $\Omega(d/(\alpha^2\varepsilon))$의 날카운 하한을 확립하며, 이전의 다항적으로 더 약한 하한을 향상시킨다.
• 결과들은 순수 DP($\delta=0$) 설정을 초월해 더 약한 $\varepsilon,\delta$-DP 제약 조건 하에서도 성립한다.
• 현재 하한이 확장될 수 있는 조건(예: 더 큰 오차 영역 및 높은 확률 보장)을 분석을 통해 규명한다.