[논문 리뷰] Average-Case Averages: Private Algorithms for Smooth Sensitivity and Mean Estimation

Mark Bun, Thomas Steinke|arXiv (Cornell University)|2019. 06. 06.

Privacy-Preserving Technologies in Data인용 수 25

한 줄 요약

이 논문은 립시츠 감도에 스케일링된 민감도를 갖는 인스턴스에 의존하는 노이즈 분포—라플라스 로그노멀, 아르시뉴스-노멀, 균일 로그노멀—을 제안한다. 트리밍드 미디안 추정기와 함께 이 노이즈 기반 방법은 집중적 차별적 프라이버시 하에서 기존 방법보다 훨씬 낮은 분산을 달성하며, n=1001인 경우 비공개 분산의 10% 수준으로 초과 오차를 감소시킨다.

ABSTRACT

The simplest and most widely applied method for guaranteeing differential privacy is to add instance-independent noise to a statistic of interest that is scaled to its global sensitivity. However, global sensitivity is a worst-case notion that is often too conservative for realized dataset instances. We provide methods for scaling noise in an instance-dependent way and demonstrate that they provide greater accuracy under average-case distributional assumptions. Specifically, we consider the basic problem of privately estimating the mean of a real distribution from i.i.d.~samples. The standard empirical mean estimator can have arbitrarily-high global sensitivity. We propose the trimmed mean estimator, which interpolates between the mean and the median, as a way of attaining much lower sensitivity on average while losing very little in terms of statistical accuracy. To privately estimate the trimmed mean, we revisit the smooth sensitivity framework of Nissim, Raskhodnikova, and Smith (STOC 2007), which provides a framework for using instance-dependent sensitivity. We propose three new additive noise distributions which provide concentrated differential privacy when scaled to smooth sensitivity. We provide theoretical and experimental evidence showing that our noise distributions compare favorably to others in the literature, in particular, when applied to the mean estimation problem.

연구 동기 및 목표

• 독립 동일분포 데이터에서 전역 감도의 과도한 보수성 문제를 해결하기 위해.
• 스무스 감도를 통한 인스턴스에 의존하는 감도를 활용해 비공개 평균 추정의 노이즈 분산을 감소시키기 위해.
• 집중적 차별적 프라이버시를 만족하면서 낮은 감도와 강한 꼬리 행동을 유지할 수 있는 새로운 노이즈 분포를 설계하기 위해.
• 트리밍드 미디안 추정기가 통계적 정확도와 프라이버시 감도 사이의 유리한 트레이드오프를 제공하는지 확인하기 위해.
• 이론적 및 실증적 증거를 통해 인스턴스에 의존하는 노이즈가 평균 케이스 환경에서 표준 라플라스/노멀 메커니즘보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 유계가 없는 지지역을 가진 i.i.d. 데이터에 대해, 경험 평균의 대체로 강건하고 감도가 낮은 트리밍드 미디안 추정기를 제안한다.
• 니시미, 라스코드니코바, 스톤(2007)의 스무스 감도 프레임워크를 재검토하여 인스턴스에 의존하는 노이즈 캘리브레이션을 가능하게 한다.
• 집중적 차별적 프라이버시를 만족하도록 설계된 새로운 3종의 덧셈 노이즈 분포—라플라스 로그노멀, 아르시뉴스-노멀, 균일 로그노멀—을 제안한다. 이들은 스무스 감도에 따라 스케일링된다.
• 스무스 감도 프레임워크를 활용해 프라이버시 보장을 위한 분석적 경계를 유도하고, 새로운 노이즈 분포가 집중적 차별적 프라이버시를 만족함을 증명한다.
• 다양한 데이터셋 크기와 프라이버시 수준에서 최적의 스무스닝 파라미터(t)와 형태 파라미터(σ)를 선택하기 위해 수치 최적화를 활용한다.
• 동일한 프라이버시 완화 조건((ε,0), ε²/2-CDP, (ε,10⁻⁶)) 하에서 분산을 주요 지표로 하여 노이즈 분포 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 스무스 감도를 통한 인스턴스에 의존하는 노이즈 스케일링이 전역 감도 기반 방법에 비해 비공개 평균 추정의 분산을 줄일 수 있는가?
• RQ2 라플라스 로그노멀, 아르시뉴스-노멀, 균일 로그노멀과 같은 새로운 노이즈 분포가 집중적 차별적 프라이버시 하에서 프라이버시와 분산 측면에서 어떻게 성능을 내는가?
• RQ3 트리밍드 미디안 추정기가 비공개 평균 추정에서 통계적 정확도와 감도 사이의 트레이드오프를 어느 정도 향상시키는가?
• RQ4 기존 메커니즘인 라플라스, 노멀, 스터디언의 t 분포와 비교해 제안된 방법의 성능은 어떻게 되는가? (동일한 프라이버시 완화 조건 하에서)
• RQ5 트리밍 수준과 스무스닝 파라미터가 비공개 평균 추정기의 분산과 프라이버시에 어떤 영향을 미치는가?

주요 결과

• n=201 및 ε=1일 때, 제안된 방법은 비공개 평균 추정에서 비공개 경험 평균보다 분산이 오직 두 배 뿐이다.
• n=1001일 때, 프라이버시로 인해 유발된 초과 분산은 비공개 분산의 10%로 감소하여 거의 최적의 정확도를 달성한다.
• 라플라스 로그노멀 노이즈 분포가 시험된 모든 메커니즘 중에서 가장 낮은 분산을 기록했으며, 이어 스터디언의 t 분포가 뒤를 이었다.
• 균일 로그노멀 분포는 꼬리가 두꺼운 특성과 최적화되지 않은 감도 스케일링으로 인해 성능이 열악했다.
• 데이터가 정규분포에서 벗어날 경우 트리밍드 미디안 추정기가 경험 평균보다 분산을 더 효과적으로 감소시켜 강건성을 향상시켰다.
• 제안된 노이즈 분포는 유한한 모멘트와 준다항 꼬리 행동을 갖추고 있어, 프라이버시 강도와 꼬리 행동 사이에 유리한 균형을 이룬다.