[논문 리뷰] Differentially Private Uniformly Most Powerful Tests for Binomial Data

Jordan Awan, Aleksandra Slavković|arXiv (Cornell University)|2018. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 19

한 줄 요약

이 논문은 $(\epsilon,\delta)$-차별적 비밀유지 하에서 이항 비율에 대한 균일하게 최강력(UMP) 가설 검정을 유도하기 위해 최적의 노이즈 메커니즘으로서 Truncated-Uniform-Laplace (Tulap) 분포를 도입함으로써, 이중적 비밀유지 하에서 이항 비율에 대한 균일하게 최강력(UMP) 검정을 유도한다. UMP 검정은 표본 합의 함수로서 나타나며, Tulap 분포를 따르는 랜덤 변수의 후처리를 통해 정확한 $p$-값을 계산할 수 있으며, 기존 방법에 비해 유한 표본에서 뛰어난 성능을 보인다.

ABSTRACT

We derive uniformly most powerful (UMP) tests for simple and one-sided hypotheses for a population proportion within the framework of Differential Privacy (DP), optimizing finite sample performance. We show that in general, DP hypothesis tests for exchangeable data can always be expressed as a function of the empirical distribution. Using this structure, we prove a `Neyman-Pearson lemma' for binomial data under DP, where the DP-UMP only depends on the sample sum. Our tests can also be stated as a post-processing of a random variable, whose distribution we coin "Truncated-Uniform-Laplace" (Tulap), a generalization of the Staircase and discrete Laplace distributions. Furthermore, we obtain exact p-values, which are easily computed in terms of the Tulap random variable. We show that our results also apply to distribution-free hypothesis tests for continuous data. Our simulation results demonstrate that our tests have exact type I error, and are more powerful than current techniques.

연구 동기 및 목표

• $(\epsilon,\delta)$-차별적 비밀유지의 엄격한 제약 조건 하에서 이항 비율 비율에 대한 균일하게 최강력(UMP) 가설 검정을 개발하기 위해.
• 통계적 유틸리티를 유지하면서도 비밀성을 보장하는 최적의 노이즈 메커니즘을 규명하여 히وري스틱한 노이즈 추가를 넘어서기 위해.
• 차별적 비밀유지 가설 검정에 대해 정확한 $p$-값과 유한 표본 보장을 제공하여 이전 연구에서 사용된 점근적 근사의 한계를 보완하기 위해.
• 동일한 이론적 프레임워크를 통해 연속 데이터에 대한 분포에 관계없는 추론에 대한 DP 검정의 적용 범위를 확장하기 위해.
• 모든 DP 검정의 클래스 내에서 최적성을 증명함으로써, 차별적 비밀유지 하에서 최적의 통계적 추론을 위한 기초를 마련하기 위해.

제안 방법

• 교환가능한 데이터에 대해, 어떤 차별적 비밀유지도 검정도 표본 분포에만 의존해야 하며, 이는 이항 데이터의 경우 표본 합으로 문제를 축소시킴을 증명함.
• 이산 라플라스 분포와 계단 분포의 일반화로서, $(\epsilon,\delta)$-DP 하에서 최적의 노이즈 메커니즘으로서 Truncated-Uniform-Laplace (Tulap) 분포를 도입함.
• Tulap 분포를 따르는 랜덤 변수의 후처리 함수로서 DP-UMP 검정을 유도함으로써, 비밀성과 최적성을 동시에 확보함.
• 정확한 $p$-값은 정리 7.2와 알고리즘 2를 통해 확보되며, 이는 Tulap 분포의 꼬리 확률을 계산함.
• 동일한 충분통계량과 노이즈 메커니즘을 활용하여, 연속 데이터에 대한 분포에 관계없는 검정(예: 부호 검정, 중앙값 검정)에 대해서도 UMP 검정의 구조가 적용됨을 보임.
• Tulap 분포를 사용하여, 비밀유지된 검정 통계량의 정확한 표본 분포를 도출함으로써, 정밀한 제1종 오류 통제가 가능해짐.

실험 결과

연구 질문

• RQ1 $(\epsilon,\delta)$-차별적 비밀유지 하에서 이항 비율 검정에 대해 균일하게 최강력(UMP) 검정을 도출할 수 있는가?
• RQ2 차별적 비밀유지 조건을 만족하면서도 UMP 검정을 가능하게 하는 최적의 노이즈 분포는 무엇인가?
• RQ3 차별적 비밀유지 가설 검정에 대해 점근적 근사에 의존하지 않고 정확한 $p$-값을 계산할 수 있는가?
• RQ4 UMP 성질은 연속 데이터에 대한 분포에 관계없는 검정에 대해서도 차별적 비밀유지 하에서 확장 가능한가?
• RQ5 충분통계량의 함수로서 최적의 DP 검정을 일반적으로 특성화할 수 있는가, 비밀유지 제약 조건 하에서도?

주요 결과

• 이항 데이터에 대한 DP-UMP 검정은 표본 합에만 의존하며, 이는 완전한 충분통계량이며, $(\epsilon,\delta)$-DP 검정 전반에서 최적임이 입증됨.
• Truncated-Uniform-Laplace (Tulap) 분포는 $(\epsilon,\delta)$-차별적 비밀유지를 만족하며, UMP 검정을 위한 최적의 노이즈 메커니즘으로 입증됨.
• 정확한 $p$-값은 Tulap 분포를 따르는 랜덤 변수의 후처리를 통해 계산되며, 명목 수준에서 정밀한 제1종 오류 통제를 보장함.
• 시뮬레이션 결과, DP-UMP 검정은 Vu와 Slavkovic(2009)의 정규 근사 방법보다 더 높은 경험적 검정력을 보이며, 특히 소표본에서 유의미한 성능 향상을 보임.
• DP-UMP 검정은 $\theta_0$의 모든 값에서 정확한 제1종 오류(약 $\alpha = 0.05$)를 유지하지만, 정규 근사 방법은 $\theta_0$에 따라 제1종 오류가 과대 또는 과소 조정됨.
• 동일한 비밀유지된 충분통계량과 Tulap 노이즈를 적용함으로써, 이 프레임워크는 연속 데이터에 대한 분포에 관계없는 검정(예: 부호 검정, 중앙값 검정)으로도 확장 가능함.