[논문 리뷰] General-Purpose Differentially-Private Confidence Intervals.

Cecilia Ferrando, Shufan Wang외 1명|arXiv (Cornell University)|2020. 06. 14.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 7

한 줄 요약

이 논문은 일반적인 목적의 두 가지 방법을 제안한다. 하나는 대규모 표본에서 효율성을 위해 渐近 정규성을 활용하는 것이고, 다른 하나는 소규모 표본에서 더 나은 커버리지 성능을 확보하기 위해 매개변수 부트스트랩을 사용하는 것이다. 두 방법 모두 추가적인 프라이버시 예산을 소모하지 않고 사전에 계산된 프라이버시 보장된 추정치를 후처리하여, 프라이버시 보장된 통계 분석에서 정확한 불확실성 측정을 가능하게 한다.

ABSTRACT

One of the most common statistical goals is to estimate a population parameter and quantify uncertainty by constructing a confidence interval. However, the field of differential privacy lacks easy-to-use and general methods for doing so. We partially fill this gap by developing two broadly applicable methods for private confidence-interval construction. The first is based on asymptotics: for two widely used model classes, exponential families and linear regression, a simple private estimator has the same asymptotic normal distribution as the corresponding non-private estimator, so confidence intervals can be constructed using quantiles of the normal distribution. These are computationally cheap and accurate for large data sets, but do not have good coverage for small data sets. The second approach is based on the parametric bootstrap. It applies out of the box to a wide class of private estimators and has good coverage at small sample sizes, but with increased computational cost. Both methods are based on post-processing the private estimator and do not consume additional privacy budget.

연구 동기 및 목표

• 통계 분석에서 사용하기 쉬운 일반적인 프라이버시 보장된 신뢰구간을 구성하기 위한 방법의 부족을 해결한다.
• 프라이버시 데이터 분석에서 불확실성 측정을 위한 확장성 있고 정확한 해법을 제공한다.
• 프라이버시 보장 조건 하에서 신뢰구간이 적절한 커버리지 확률을 유지하도록 보장한다.
• 대규모 데이터셋에 대해 계산 효율성이 높으면서도 소규모 표본에서도 효과적인 방법을 개발한다.
• 추정치의 후처리 과정에서 추가 프라이버시 예산을 소모하지 않도록 한다.

제안 방법

• 지수가족 및 선형 회귀에서 프라이버시 보장된 추정치의 渐近 정규성을 활용하여, 표준 정규분포 분위수를 사용해 신뢰구간을 구성한다.
• 프라이버시 보장된 추정치에 대해 매개변수 부트스트랩을 적용하여, 추정된 모델 하에서 데이터를 시뮬레이션하여 표본 분포를 경험적으로 추정한다.
• 후처리 불변성 활용: 신뢰구간은 오직 프라이버시 보장된 추정치에서 유도되며, 추가적인 프라이버시 비용이 발생하지 않는다.
• 渐외 방법의 경우, 정규 조건 하에서 프라이버시 보장된 추정치가 비프라이버시 추정치와 동일한 渐외 분포로 수렴한다는 사실에 기반한다.
• 부트스트랩 방법의 경우, 프라이버시 모델에서 시뮬레이션된 가짜 데이터셋을 생성하고, 각각에 대해 프라이버시 보장된 추정치를 계산한 후, 그들의 경험 분포를 사용해 구간을 형성한다.
• 두 방법 모두 모델에 특화된 수정 없이도 다양한 프라이버시 보장된 추정치에 즉시 적용 가능하다.

실험 결과

연구 질문

• RQ1 프라이버시 보장된 추정치의 渐외 정규성을 활용하여 추가 계산 비용을 최소화하면서 프라이버시 보장된 신뢰구간을 구성할 수 있는가?
• RQ2 소규모 표본 설정에서 프라이버시 보장 조건 하에서 신뢰구간이 좋은 커버리지 확률을 유지할 수 있는가?
• RQ3 프라이버시 보장된 추정치의 후처리를 통해 추가 프라이버시 예산 없이 유효한 신뢰구간을 구성할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 표본 크기에서 계산 효율성과 커버리지 정확성 사이의 상호 상충 관계는 어떻게 나타나는가?
• RQ5 모델에 맞게 맞춤 설정이 필요 없이 다양한 프라이버시 보장된 추정치에 적용 가능한 일반적인 방법을 개발할 수 있는가?

주요 결과

• 渐외 방법은 대규모 데이터셋에서 프라이버시 보장된 추정치가 정규분포로 수렴함에 따라 정확한 커버리지를 달성한다.
• 매개변수 부트스트랩 방법은 계산 비용이 높지만, 소규모 표본 설정에서 渐외 방법보다 더 나은 커버리지를 제공한다.
• 두 방법 모두 추가 프라이버시 예산을 소모하지 않는 후처리 기법으로, 원래의 프라이버시 보장 조건을 유지한다.
• 渐외 방법은 표준 정규분포 분위수를 사용하므로 계산이 매우 효율적이며, 대규모 데이터 분석에 적합하다.
• 부트스트랩 기반 방법은 광범위한 프라이버시 보장된 추정치 클래스에 적용 가능하며, 표본 크기가 작을 때도 양호한 경험적 커버리지를 유지한다.
• 이들 방법은 일반적인 목적의 것으로, 지수가족 및 선형 회귀와 같은 일반적인 모델에 대해 모델 특화 조정 없이 적용 가능하다.