[논문 리뷰] Convergence Rates for Differentially Private Statistical Estimation

Kamalika Chaudhuri, Daniel Hsu|arXiv (Cornell University)|2012. 06. 27.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 26

한 줄 요약

이 논문은 미분적 보안성 통계 추정기의 수렴 속도 경계를 설정하며, 이 속도가 추정기의 총 오차 민감도(Gross Error Sensitivity, GES)에 의존함을 보여준다. 이는 모든 미분적 보안성 추정기가 GES에 따라 증가하는 수렴 속도를 가져야 하며, 유한한 범위와 유한한 GES를 갖는 추정기의 경우 상한 경계를 제공함으로써, 미분적 보안성과 강건 통계 사이의 공식적 연결을 수립한다.

ABSTRACT

Differential privacy is a cryptographically-motivated definition of privacy which has gained significant attention over the past few years. Differentially private solutions enforce privacy by adding random noise to a function computed over the data, and the challenge in designing such algorithms is to control the added noise in order to optimize the privacy-accuracy-sample size tradeoff. This work studies differentially-private statistical estimation, and shows upper and lower bounds on the convergence rates of differentially private approximations to statistical estimators. Our results reveal a formal connection between differential privacy and the notion of Gross Error Sensitivity (GES) in robust statistics, by showing that the convergence rate of any differentially private approximation to an estimator that is accurate over a large class of distributions has to grow with the GES of the estimator. We then provide an upper bound on the convergence rate of a differentially private approximation to an estimator with bounded range and bounded GES. We show that the bounded range condition is necessary if we wish to ensure a strict form of differential privacy.

연구 동기 및 목표

• 미분적 보안성 통계 추정에서 정확도의 기본 한계를 이해하는 것.
• 미분적 보안성 추정기에서 비밀유지, 정확도, 표본 크기 간의 상호관계를 분석하는 것.
• 미분적 보안성 근사 추정기의 이론적 수렴 속도를 수립하는 것.
• 총 오차 민감도(Gross Error Sensitivity, GES)를 통해 미분적 보안성과 강건 통계 사이의 공식적 연결을 수립하는 것.

제안 방법

• 저자들은 통계 추정 이론 기법을 사용하여, 미분적 보안성 추정기의 수렴 속도에 대한 상한과 하한 경계를 유도한다.
• 미분적 보안성과 총 오차 민감도(Gross Error Sensitivity, GES) 사이의 공식적 연결을 도입하여, GES가 최소 달성 가능한 수렴 속도를 결정함을 보여준다.
• 엄격한 미분적 보안성을 확보하기 위해 유한한 범위와 유한한 GES를 갖는 추정기 중심으로 분석을 수행한다.
• 수렴 속도를 유지하면서 미분적 보안성을 확보하기 위해 필요한 노이즈를 특성화하는 데에 방법을 활용한다.
• 특정한 미분적 보안성 추정기를 구성함으로써 상한 경계를 도출한다. 이 추정기는 명시된 수렴 속도를 달성한다.
• 하한 경계는 기저 추정기의 GES에 의해 결정되는 것보다 더 빠른 수렴 속도를 달성할 수 없음을 증명함으로써 확립된다.

실험 결과

연구 질문

• RQ1 미분적 보안성 통계 추정에서 비밀보장과 추정 정확도 사이의 기본적 상호관계는 무엇인가?
• RQ2 추정기의 총 오차 민감도(Gross Error Sensitivity, GES)가 미분적 보안성 하에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 미분적 보안성 추정기는 원래 추정기의 GES에 독립적인 수렴 속도를 달성할 수 있는가?
• RQ4 엄격한 형태의 미분적 보안성을 보장하기 위해 추정기의 조건(예: 유한한 범위, 유한한 GES)이 어떤 것이 필요한가?
• RQ5 미분적 보안성 추정기의 최적 수렴 속도에 대한 날카운 특성화가 존재하는가?

주요 결과

• 모든 미분적 보안성 추정기의 수렴 속도는 기저 추정기의 총 오차 민감도(Gross Error Sensitivity, GES)에 따라 증가해야 한다.
• 수렴 속도에 대한 하한 경계가 확립되어, 이 경계가 추정기의 GES에 비례하여 최소한으로 증가함을 보여준다.
• 유한한 범위와 유한한 GES를 갖는 추정기의 경우 수렴 속도에 대한 상한 경계가 제공되어, 이러한 추정기가 유한하고 통제 가능한 속도를 달성할 수 있음을 보여준다.
• 유한한 범위 조건이 엄격한 형태의 미분적 보안성을 확보하기 위해 필수적임을 입증하였다.
• 논문은 총 오차 민감도(Gross Error Sensitivity, GES) 개념을 통해 미분적 보안성과 강건 통계 사이의 공식적 이론적 연결을 수립한다.
• 결과적으로, GES가 높은 추정기는 큰 표본 크기일지라도 미분적 보안성 하에서 본질적으로 더 높은 오차를 유발함을 암시한다.