[논문 리뷰] A Central Limit Theorem for Differentially Private Query Answering

Jinshuo Dong, Weijie Su외 1명|arXiv (Cornell University)|2021. 03. 15.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 5

한 줄 요약

이 논문은 고차원에서의 비밀유지 쿼리 답변을 위한 중심극한정리(central limit theorem)를 수립하며, 밀도가 $\mathrm{e}^{-\|x\|_p^\alpha}}$ 비례하는 잡음 분포가 고차원에서 가우시안 차별적 프라이버시(Gaussian Differential Privacy, GDP)로 수렴함을 보여준다. 이는 가우시안 메커니즘이 최적의 프라이버시-정확도 트레이드오프를 달성함을 증명하며, 프라이버시 파라미터와 $\ell_2$-오차의 곱이 차원에 의해 하한으로 제약됨을 확인함으로써, 이러한 잡음 가족 내에서의 날카로운 최적성(sharp optimality)을 입증한다.

ABSTRACT

Perhaps the single most important use case for differential privacy is to privately answer numerical queries, which is usually achieved by adding noise to the answer vector. The central question, therefore, is to understand which noise distribution optimizes the privacy-accuracy trade-off, especially when the dimension of the answer vector is high. Accordingly, extensive literature has been dedicated to the question and the upper and lower bounds have been matched up to constant factors [BUV18, SU17]. In this paper, we take a novel approach to address this important optimality question. We first demonstrate an intriguing central limit theorem phenomenon in the high-dimensional regime. More precisely, we prove that a mechanism is approximately Gaussian Differentially Private [DRS21] if the added noise satisfies certain conditions. In particular, densities proportional to $\mathrm{e}^{-\|x\|_p^α}$, where $\|x\|_p$ is the standard $\ell_p$-norm, satisfies the conditions. Taking this perspective, we make use of the Cramer--Rao inequality and show an "uncertainty principle"-style result: the product of the privacy parameter and the $\ell_2$-loss of the mechanism is lower bounded by the dimension. Furthermore, the Gaussian mechanism achieves the constant-sharp optimal privacy-accuracy trade-off among all such noises. Our findings are corroborated by numerical experiments.

연구 동기 및 목표

• 고차원에서 비밀유지 수치 쿼리 답변을 위한 최적의 잡음 분포를 규명하는 근본적인 질문을 해결하기 위해.
• 일차원에서 트렁케이티드 라플라스(Truncated Laplace)와 같은 대안 메커니즘에 비해 프라이버시 제약을 완화함에도 불구하고 가우시안 메커니즘이 성능이 열 劣하는 이유를 이해하기 위해.
• 일차원 메커니즘의 통찰이 고차원 쿼리 워크로드로 확장되는지 조사하기 위해.
• 일반적인 잡음 메커니즘이 가우시안 차별적 프라이버시(GDP)로 점점 수렴하는 데 이르는 이론적 기반을 구축하기 위해.
• 크래머-라오 부등식(Cramér–Rao inequality)을 사용하여 프라이버시-정확도 트레이드오프의 날카로운 하한을 유도하며, 가우시안 메커니즘이 상수 요소를 제외한 최적임을 보여주기 위해.

제안 방법

• 고차원 잡음 추가 메커니즘에 대한 중심극한정리를 증명하며, 잡음 밀도에 대한 약한 조건이 만족되면 메커니즘이 가우시안 차별적 프라이버시(GDP)로 수렴함을 보였다.
• 밀도가 $\mathrm{e}^{-\|x\|_p^\alpha}}$ 비례하는 잡음 분포를 분석하며, 라플라스($p=1, \alpha=1$)와 가우시안($p=2, \alpha=2$)을 특수한 경우로 포함한다.
• 크래머-라오 부등식을 적용하여 프라이버시 파라미터 $\varepsilon$와 $\ell_2$-오차의 곱에 하한을 유도하며, 이 하한이 차원 $n$에 비례함을 보였다.
• 로그우도비의 이阶 테일러 전개(Second-order Taylor expansion of the log-likelihood ratio)를 사용하여 프라이버시 손실 분포를 분석하고 고차원 점근적 조건 하에서 GDP로의 수렴을 확립하였다.
• 린데베르그-레비 중심극한정리의 다변량 형태를 활용하여, 적절한 스케일링 하에서 프라이버시 손실 랜덤 변수가 정규분포로 수렴함을 보였다.
• 수치 실험을 통해 $n=30$인 유한차원 설정에서도 GDP로의 수렴이 매우 빠르게 일어남을 검증하였다.

실험 결과

연구 질문

• RQ1 고차원 점근적 조건 하에서 비밀유지 메커니즘에 중심극한정리가 성립할 수 있는가?
• RQ2 꼬리가 두꺼운 또는 서브-가우시안 꼬리 특성을 가진 잡음 분포가 차원이 증가함에 따라 가우시안 차별적 프라이버시(GDP)로 수렴하는가?
• RQ3 밀도가 $\mathrm{e}^{-\|x\|_p^\alpha}}$ 비례하는 모든 잡음 분포 중에서 가우시안 메커니즘이 프라이버시-정확도 트레이드오프 측면에서 최적인가?
• RQ4 정보이론적 도구인 크래머-라오 부등식을 사용하여 프라이버시-정확도 트레이드오프에 대한 기본 하한을 도출할 수 있는가?
• RQ5 가우시안 메커니즘이 일차원에서 트렁케이티드 라플라스보다 성능이 열 劣하는 이유는 무엇이며, 이 격차는 고차원에서도 유지되는가?

주요 결과

• 비밀유지 메커니즘에 중심극한정리가 성립한다: 잡음 밀도에 대한 약한 정규성 조건이 만족되면, 차원이 증가함에 따라 프라이버시 손실이 정규분포로 수렴한다.
• 밀도가 $\mathrm{e}^{-\|x\|_p^\alpha}}$ 비례하는 잡음 분포는 가우시안 차별적 프라이버시(GDP)로의 수렴 조건을 충족하며, 라플라스 및 가우시안 분포를 특수한 경우로 포함한다.
• 프라이버시 파라미터 $\varepsilon$와 메커니즘의 $\ell_2$-오차의 곱은 차원 $n$에 의해 하한으로 제약받으며, 이는 근본적인 트레이드오프를 나타낸다.
• 가우시안 메커니즘은 이 하한의 날카로운 상수를 달성하므로, 이러한 모든 잡음 가족 내에서 상수 요소를 제외한 최적임이 입증된다.
• 수치 실험 결과는 $n=30$에서도 GDP로의 수렴이 매우 빠르게 일어남을 확인하며, 이는 이론적 점근적 결과를 지지한다.
• 분석 결과, 고차원에서는 가우시안 메커니즘의 성능을 초월할 수 있는 프라이버시-정확도 트레이드오프가 존재하지 않으며, 일차원에서의 열 劣한 행동에도 불구하고 이는 고차원에서는 유지되지 않음을 밝혔다.