[논문 리뷰] A statistical framework for differential privacy

Larry Wasserman, Shuheng Zhou|arXiv (Cornell University)|2008. 11. 16.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 6

한 줄 요약

이 논문은 차별적 비밀유지 메커니즘의 정확도를 평가하기 위한 통계적 프레임워크를 개발한다. 이 프레임워크는 공개된 데이터 분포가 진정한 데이터 분포로 수렴하는 속도를 분석함으로써, 차별적 비밀유지의 정확도와 작은 구역 확률 사이의 핵심적 연관성을 규명한다. 특히, 지수 메커니즘의 성능이 진정한 분포 주변의 작은 구역 내에서 경험 분포의 집중 속도에 의해 결정됨을 보여준다.

ABSTRACT

One goal of statistical privacy research is to construct a data release mechanism that protects individual privacy while preserving information content. An example is a {\em random mechanism} that takes an input database $X$ and outputs a random database $Z$ according to a distribution $Q_n(\cdot|X)$. {\em Differential privacy} is a particular privacy requirement developed by computer scientists in which $Q_n(\cdot |X)$ is required to be insensitive to changes in one data point in $X$. This makes it difficult to infer from $Z$ whether a given individual is in the original database $X$. We consider differential privacy from a statistical perspective. We consider several data release mechanisms that satisfy the differential privacy requirement. We show that it is useful to compare these schemes by computing the rate of convergence of distributions and densities constructed from the released data. We study a general privacy method, called the exponential mechanism, introduced by McSherry and Talwar (2007). We show that the accuracy of this method is intimately linked to the rate at which the probability that the empirical distribution concentrates in a small ball around the true distribution.

연구 동기 및 목표

• 차별적 비밀유지를 계산적 정의를 넘어서 분포 수렴을 통해 유틸리티를 평가할 수 있는 통계적 해석을 제공한다.
• 공개된 데이터에서 유도된 경험 분포가 진정한 분포로 수렴하는 속도를 측정하여, 개인정보 보호 데이터 공개 메커니즘을 평가하고 비교한다.
• 지수 메커니즘의 정확도와 기저 분포의 작은 구역 확률 간의 관계를 체계화한다.
• 차별적 비밀유지 제약 조건 하에서 밀도 및 분포 추정기의 수렴 속도에 대한 이론적 경계를 설정한다.
• 차별적 비밀유지 메커니즘의 수렴 속도가 데이터 분포의 규칙성, 특히 부드러움 파라미터와 작은 구역 확률을 통해 본질적으로 결정됨을 보여준다.

제안 방법

• 공개된 데이터에서 경험 분포와 밀도의 수렴을 측정하기 위해 콜모고로프-스미르노프 거리와 L2 위험을 사용한다.
• 작은 구역 확률 이론을 적용하여 경험 측도가 진정한 분포 주변의 작은 이웃에서 어떻게 집중되는지 분석하고, 이를 비밀유지 메커니즘의 정확도와 연결한다.
• 일반적인 개인정보 보호 방법으로 지수 메커니즘을 활용하며, 그 정확도가 데이터 분포의 작은 구역 확률의 수렴 속도에 의해 결정됨을 보여준다.
• 정규성 조건 하에서, 옥타드로닉 전개와 공분산 행렬의 고유값 경계를 사용하여, 차별적 비밀유지 하에서의 밀도 및 분포 추정기의 수렴 속도를 유도한다.
• 추정 오차를 제어하기 위해 절단과 투영 기법을 사용하며, 규칙성 조건 하에서 절단 효과가 渐近적으로 무시할 만큼 작다는 것을 보여준다.
• 밀도 추정의 위험에 대한 이론적 경계를 설정하며, 이는 $ n^{-2\theta/(2\theta+1)} $ 의 순서로 수렴함을 보여주며, 여기서 $ \theta $ 는 분포의 규칙성과 관련된 부드러움 파라미터이다.

실험 결과

연구 질문

• RQ1 경험 분포의 통계적 수렴 속도를 사용하여, 차별적 비밀유지 메커니즘의 유틸리티를 어떻게 평가할 수 있는가?
• RQ2 지수 메커니즘의 정확도는 기저 데이터 분포의 작은 구역 확률과 어떤 관계가 있는가?
• RQ3 데이터 분포의 부드러움은 개인정보 보호 추정기의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 차별적 비밀유지 제약 조건 하에서 밀도 및 분포 추정의 이론적 한계는 무엇인가?
• RQ5 작은 구역 확률을 사용하여, 차별적 비밀유지 데이터 공개 메커니즘의 성능에 대한 비점근적 경계를 유도할 수 있는가?

주요 결과

• 차별적 비밀유지 데이터에서 경험 분포의 수렴 속도는 작은 구역 확률에 의해 결정되며, 더 빠른 집중은 더 높은 유틸리티를 의미한다.
• 지수 메커니즘의 정확도는 경험 분포가 진정한 분포 주변의 작은 구역에 얼마나 집중되는지의 속도와 밀접하게 연결되어 있다.
• 홀더 부드러움 파라미터 $ \gamma $ 를 가진 분포의 경우, 밀도 추정의 위험은 $ O(n^{-2\gamma/(2\gamma+1)}) $ 의 속도로 수렴하며, 이는 주어진 부드러움 클래스 하에서 최적이다.
• 증명 과정에서 $ k \geq n $ 일 때 절단 및 투영 오차의 기여가 무시할 만큼 작다는 것이 밝혀져, 점근적 일致성을 보장한다.
• 추정 계수의 공분산 행렬의 최대 고유값은 유한하게 유지되며, 이는 추정 절차의 안정성을 뒷받침한다.
• 논문은 부드러움 가정 하에서, 밀도 추정에 대해 $ n^{-2\gamma/(2\gamma+1)} $ 의 속도가 최소 최대 최적 속도임을 규명한다.