[논문 리뷰] Locally Private Mean Estimation: Z-test and Tight Confidence Intervals

Marco Gaboardi, Ryan Rogers외 1명|arXiv (Cornell University)|2018. 10. 18.

Privacy-Preserving Technologies in Data인용 수 18

한 줄 요약

이 논문은 가우시안 가정 하에서 국소적으로 미분적 보호를 갖는 평균 추정을 위한 최적 알고리즘을 제시하며, 비트 뒤집기 기반 메커니즘과 분할 탐색을 조합하여 길이 $\widetilde{O}\left(\frac{\sigma\sqrt{\log(1/\beta)}}{\epsilon\sqrt{n}}\right)$ 의 날카운 신뢰구간을 달성한다. 이는 다항로그 인자까지의 상한과 하한이 일치함을 보여주며, 국소 모델에서의 신뢰구간 길이가 최적임을 증명한다.

ABSTRACT

This work provides tight upper- and lower-bounds for the problem of mean estimation under $ε$-differential privacy in the local model, when the input is composed of $n$ i.i.d. drawn samples from a normal distribution with variance $σ$. Our algorithms result in a $(1-β)$-confidence interval for the underlying distribution's mean $μ$ of length $ ilde O\left( \frac{σ\sqrt{\log(\frac 1 β)}}{ε\sqrt n} ight)$. In addition, our algorithms leverage binary search using local differential privacy for quantile estimation, a result which may be of separate interest. Moreover, we prove a matching lower-bound (up to poly-log factors), showing that any one-shot (each individual is presented with a single query) local differentially private algorithm must return an interval of length $Ω\left( \frac{σ\sqrt{\log(1/β)}}{ε\sqrt{n}} ight)$.

연구 동기 및 목표

• 가우시안 데이터 하에서 국소적으로 미분적 보호를 갖는 평균 추정의 상한과 하한 사이의 격차를 해소하기 위해.
• 근사적으로 최소 길이의 신뢰구간을 생성하는 효율적이고 일회성 LDP 알고리즘을 설계하기 위해.
• 전통적인 Z-검정의 비밀보장 버전을 국소 모델에서 제공하여, 비밀 보장 조건 하에서의 가설 검정을 가능하게 하기 위해.
• 유도된 신뢰구간 길이가 다항로그 인자까지 최적임을 증명하기 위해.
• 국소적 미분적 보호의 새로운 응용으로 사전분포 추정을 위한 비밀보장 양상의 추정을 개발하여, 독립적인 관심사가 될 수 있도록 하기 위해.

제안 방법

• 평균이 길이 $\sigma$ 인 가장 빈번한 간격에서 $2\sigma$ 이내에 존재한다는 사실을 활용하여, 비트 뒤집기 기반 메커니즘을 통해 높은 확률로 진짜 평균을 포함하는 좁은 간격을 식별한다.
• 이산화된 범위 $[-R, R]$ 에서 이진 탐색을 수행하여 사전분포를 비밀보장적으로 추정하며, 사전분포 질의를 시뮬레이션하기 위해 신중히 구성된 분포 가족을 사용한다.
• 클리핑 및 프로젝션된 데이터 포인트에 대해 조정된 가우시안 노이즈 $\mathcal{N}\left(0, \frac{2|I|^2 \log(2/\delta)}{\epsilon^2}\right)$ 를 적용한 비밀보장 평균 기반 메커니즘을 사용하여 평균을 추정한다.
• 총변동 거리와 비밀보장 강화를 통해 하한을 증명하기 위해, 세 개의 점을 가진 이산 분포 가족 $\mathcal{P}_i$ 를 구성한다.
• 표본 복잡도와 오차에 대한 날카운 경계를 유도하기 위해 $\epsilon$-LDP 와 $\delta$-완화를 조합한 하이브리드 비밀보장 분석을 적용한다.
• 집중 불등식과 비밀보장 손실 계측을 적용하여 사전분포 추정 및 간격 복원의 오류 확률을 제한한다.

실험 결과

연구 질문

• RQ1 가우시안 분포 하에서 국소적으로 미분적 보호를 갖는 알고리즘을 설계하여, 평균의 길이 $\widetilde{O}\left(\frac{\sigma\sqrt{\log(1/\beta)}}{\epsilon\sqrt{n}}\right)$ 의 신뢰구간을 달성할 수 있는가?
• RQ2 이 간격 길이가 국소 모델에서 다항로그 인자까지 최적인가?
• RQ3 이진 탐색 기반 사전분포 추정 기법을 비밀보장 평균 추정의 구축 블록으로 사용할 수 있는가?
• RQ4 일회성 국소적 비밀보장 평균 추정의 기본 한계는 무엇인가? 특히, 신뢰구간 길이 측면에서.
• RQ5 모르는 분산의 경우와 알려진 분산의 경우가 비밀보장 통계 추론에서 유효성과 비밀보장 간의 상호보완성에 어떤 영향을 미치는가?

주요 결과

• 알려진 분산의 경우, 조건 $n = \Omega\left(\frac{\log(R/\sigma)}{\epsilon^2}\right)$ 를 만족할 때, 제안된 알고리즘이 길이 $O\left(\frac{\sigma\sqrt{\log(n)}}{\epsilon\sqrt{n}}\right)$ 의 신뢰구간을 달성한다.
• 모르는 분산의 경우, $\sigma$ 에 하한이 존재한다고 가정할 때, 유사한 길이의 유효한 신뢰구간을 생성한다.
• 모든 일회성 $\epsilon$-LDP 알고리즘에 대해 $\Omega\left(\frac{\sigma\sqrt{\log(1/\beta)}}{\epsilon\sqrt{n}}\right)$ 의 일치하는 하한이 증명되었으며, 다항로그 인자까지 최적임을 보여준다.
• 비밀보장 Z-검정은 실증적으로 검증되었으며, 신뢰구간의 날카움과 실용적 유용성을 입증한다.
• 이진 탐색 기반 사전분포 추정 기법은 효과적임이 입증되었으며, 다른 LDP 응용 분야에서 독립적인 관심사가 될 수 있다.
• 하한 증명 과정에서 $\alpha_{\rm quant}$ 와 $\alpha_{\rm dist}$ 파라미터가 모두 필요하다는 것이 드러났으며, 둘 중 하나를 생략할 경우 표본 복잡도가 유한하지 않게 된다.