[논문 리뷰] General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation

Aleksandar Nikolov, Haohua Tang|arXiv (Cornell University)|2023. 01. 31.

Privacy-Preserving Technologies in Data인용 수 1

한 줄 요약

이 논문은 고차원에서 비편향 차분적 비밀유지(mean estimation)에 대해 가우시안 노이즈 메커니즘의 최적성을 확립한다. ℓp 노름 오차 하에서 가우시안 노이즈의 최적 공분산 행렬을 도출하며, 이는 이전의 대칭 다면체 이론을 임의의 유계 도메인으로 일반화한 것으로, 농축된 및 약간의 차분적 비밀유지 하에서 모든 비편향 사생활 보호 추정기 중에서 거의 최소 오차를 달성하는 것으로 증명한다.

ABSTRACT

We investigate unbiased high-dimensional mean estimators in differential privacy. We consider differentially private mechanisms whose expected output equals the mean of the input dataset, for every dataset drawn from a fixed bounded $d$-dimensional domain $K$. A classical approach to private mean estimation is to compute the true mean and add unbiased, but possibly correlated, Gaussian noise to it. In the first part of this paper, we study the optimal error achievable by a Gaussian noise mechanism for a given domain $K$ when the error is measured in the $\ell_p$ norm for some $p \ge 2$. We give algorithms that compute the optimal covariance for the Gaussian noise for a given $K$ under suitable assumptions, and prove a number of nice geometric properties of the optimal error. These results generalize the theory of factorization mechanisms from domains $K$ that are symmetric and finite (or, equivalently, symmetric polytopes) to arbitrary bounded domains. In the second part of the paper we show that Gaussian noise mechanisms achieve nearly optimal error among all private unbiased mean estimation mechanisms in a very strong sense. In particular, for every input dataset, an unbiased mean estimator satisfying concentrated differential privacy introduces approximately at least as much error as the best Gaussian noise mechanism. We extend this result to local differential privacy, and to approximate differential privacy, but for the latter the error lower bound holds either for a dataset or for a neighboring dataset, and this relaxation is necessary.

연구 동기 및 목표

• 고차원 공간에서 차분적 비밀유지 하에서 비편향 평균 추정에 대한 최적의 가우시안 노이즈 메커니즘을 규명하는 것.
• 대칭 유한 도메인에서의 인수 분해 메커니즘 이론을 임의의 유계 볼록 도메인으로 확장하는 것.
• 농축된 및 약간의 차분적 비밀유지 하에서 모든 비편향 사생활 보호 추정기 중에서 가우시안 노이즈 메커니즘이 거의 최적의 오차를 달성함을 입증하는 것.
• 텐서 곱과 마진널 쿼리 집합과 같은 구조적 도메인에 대한 Γp 노름에 대한 날카운 경계를 도출하는 것.

제안 방법

• ℓp 노름 오차 하에서 고차원 평균 추정에서 최적의 공분산 행렬을 계산하기 위한 프레임워크를 제안한다.
• 기하학적 및 볼록 해석 기법을 사용하여 임의의 유계 도메인 K ⊆ Rd에 대한 최적의 노이즈 분포를 특성화한다.
• 대칭성 및 쌍대성 원리를 적용하여 특수한 경우, 예를 들어 단위 구의 ℓ-텐서 곱에 대한 최적 노이즈의 닫힌 형식 표현을 유도한다.
• 오차의 핵심 측정 도구로 Γp 노름을 사용하며, 이를 도메인 K의 기하학과 연결한다.
• 투영 및 좌표 부분공간을 이용하여 오차의 하한을 증명하며, 대칭 도메인에 대한 기존 결과를 활용한다.
• 지역적 및 약간의 차분적 비밀유지로 결과를 확장하여, 하한이 데이터셋 또는 이웃 데이터셋 중 하나에서 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 임의의 유계 도메인 K ⊆ Rd 및 ℓp 노름 오차 하에서 비편향 평균 추정에 대한 최적의 가우시안 노이즈 메커니즘은 무엇인가?
• RQ2 특히 단위 구의 텐서 곱과 같은 구조적 도메인의 경우, 최적 오차는 도메인 K의 기하학적 성질에 따라 어떻게 척도화되는가?
• RQ3 농축된 차분적 비밀유지 하에서 모든 비편향 사생활 보호 추정기 중에서 가우시안 노이즈 메커니즘이 최적임을 증명할 수 있는가?
• RQ4 차분적 비밀유지 하에서 ℓ-방향 마진널 쿼리의 게재에 대해 달성 가능한 최소 오차는 무엇인가?
• RQ5 일반 도메인의 오차 경계는 대칭 도메인 또는 유한 도메인의 경우와 어떻게 관련이 있는가?

주요 결과

• 모든 유계 도메인 K ⊆ Rd 및 p ≥ 2에 대해 최적의 가우시안 노이즈 메커니즘이 ℓp 오차를 최소화하며, 최적 공분산은 기하 최적화를 통해 유도된다.
• Kℓd,∞ (단위 구의 ℓ-텐서 곱)의 Γp 노름은 (d/ℓ)ℓ/p + ℓ/2 이하로 유 bounds되며, 이는 이 도메인에 대한 최적 오차와 일치한다.
• ℓ-방향 마진널 쿼리의 경우, 쿼리 집합 Kmargd,ℓ의 Γp 노름은 dℓ/2 + ℓ/p 와 dℓ/p 사이로 유 bounds되며, 점근적으로 날카운 경계를 가진다.
• 농축된 차분적 비밀유지 하에서 가우시안 메커니즘이 거의 최적의 오차를 달성하며, 약간의 경우 하한은 데이터셋 또는 이웃 데이터셋 중 하나에서 성립한다.
• 결과는 대칭 유한 도메인에서의 인수 분해 메커니즘 이론을 임의의 유계 도메인으로 일반화하여, 광범위한 사생활 보호 평균 추정기의 통합을 이룬다.
• 일반적인 비편향 메커니즘의 오차 하한이 상수 인자 범위 내에서 날카롭게 유도됨을 보여주며, 가우시안 노이즈 메커니즘의 거의 최적성은 증명된다.