[논문 리뷰] Parametric Bootstrap for Differentially Private Confidence Intervals

Cecilia Ferrando, Shufan Wang외 1명|arXiv (Cornell University)|2020. 06. 14.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 11

한 줄 요약

이 논문은 표본 오차와 프라이버시 오차를 동시에 고려하는 일반적인 실용적 방법으로 파라미터 부트스트랩을 제안한다. 이는 작은 표본 크기에서도 일관되고 잘 校정된 신뢰구간을 제공하며, 서브샘플링 및 집계 또는 渐近적 방법과 비교해 뛰어난 성능을 보인다.

ABSTRACT

The goal of this paper is to develop a practical and general-purpose approach to construct confidence intervals for differentially private parametric estimation. We find that the parametric bootstrap is a simple and effective solution. It cleanly reasons about variability of both the data sample and the randomized privacy mechanism and applies "out of the box" to a wide class of private estimation routines. It can also help correct bias caused by clipping data to limit sensitivity. We prove that the parametric bootstrap gives consistent confidence intervals in two broadly relevant settings, including a novel adaptation to linear regression that avoids accessing the covariate data multiple times. We demonstrate its effectiveness for a variety of estimators, and find that it provides confidence intervals with good coverage even at modest sample sizes and performs better than alternative approaches.

연구 동기 및 목표

• 차별적(private) 통계 추정에서 일반적인 목적의 신뢰구간을 구성하기 위한 방법을 개발하는 것.
• 비밀보장 추정기에서 표본 오차와 프라이버시 오차를 동시에 모델링하는 과제를 해결하는 것.
• 비밀보장 추정에서 민감도를 제한하기 위해 데이터 클리핑으로 인한 편향을 보정하는 것.
• 반복적인 데이터 접근을 피함으로써 프라이버시 비용을 최소화하는 방법을 제공하는 것.
• 다양한 비밀보장 추정 설정에서 일관되고 잘 校정된 신뢰구간을 제공하는 것.

제안 방법

• 파라미터 부트스트랩은 적합된 파라미터 모델에서 데이터를 재표본 추출하여 비밀보장 추정기의 표본 분포를 근사한다.
• 다중 데이터 접근을 피하기 위해 후처리(post-processing)를 사용함으로써 추가적인 프라이버시 비용이 거의 없거나 없도록 한다.
• 부트스트랩 복제본에 Efron의 백분위수 방법을 적용하여 신뢰구간을 구성한다.
• 데이터 클리핑으로 인한 표본 분포의 이동을 추정하고 조정하여 편향 보정을 달성한다.
• 선형 회귀의 경우, 공변수 데이터에 대한 반복적 접근을 피하기 위해 새로운 하이브리드 부트스트랩 방법을 도입한다.
• 지수족과 충분통계량 흐름( sufficient statistic perturbation, SSP)을 사용한 선형 회귀에 대해 이론적 일관성을 입증한다.

실험 결과

연구 질문

• RQ1 파라미터 부트스트랩은 비밀보장 추정에서 일관되고 잘 校정된 신뢰구간을 생성할 수 있는가?
• RQ2 비밀보장 추정에서 파라미터 부트스트랩은 서브샘플링 및 집계 또는 渐近적 방법과 비교해 커버리지와 구간 폭 측면에서 어떻게 성능을 내는가?
• RQ3 파라미터 부트스트랩은 비밀보장 추정에서 데이터 클리핑으로 인한 편향을 효과적으로 보정할 수 있는가?
• RQ4 프라이버시 오차가 무시할 수 없는 작은 표본 크기에서도 이 방법이 양호한 성능을 유지하는가?
• RQ5 반복적인 데이터 접근 없이도 파라미터 부트스트랩을 비밀보장 선형 회귀에 적용할 수 있는가?

주요 결과

• 작은 표본 크기(n=10)에서도 파라미터 부트스트랩은 근사 명목 커버리지(예: 95%)를 달성하지만, 비밀보장 피셔 신뢰구간은 심각한 커버리지 부족을 보인다.
• 서브샘플링 및 집계 방법에 비해 부트스트랩 구간은 더 좁고 더 잘 校정되어 있으며, 이는 고분산과 나쁜 校정성으로 인한 결함을 야기한다.
• 지수족의 경우 파라미터 부트스트랩은 프라이버시 오차를 정확히 반영하여 불확실성 증가를 반영한 더 넓은 구간을 제공한다.
• 선형 회귀의 경우 제안된 하이브리드 부트스트랩은 반복적 데이터 접근을 피하고 최소한의 프라이버시 비용으로 양호한 커버리지를 유지한다.
• 포isson 및 가우시안 분포에서 우측 꼬리 클리핑으로 인한 추정 편향을 파라미터 부트스트랩을 통해 효과적으로 보정할 수 있다.
• 작은 표본 크기에서 비밀보장 오차가 무시할 수 없기 때문에 渐近적 방법은 충분한 커버리지를 제공하지 못하지만, 부트스트랩은 강건성을 유지한다.