[논문 리뷰] Comparing Population Means under Local Differential Privacy: with Significance and Power

Bolin Ding, Harsha Nori외 2명|arXiv (Cornell University)|2018. 03. 24.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 국소적 차별적 비밀유지(LDP)에 대응하는 두 가지 가설 검정을 제안하며, 유한한 제1종 오류(유의수준)를 보장하고 통계적 검정력에 대한 이론적 하한을 제공하는 변환 기반 접근법을 사용한다. 이 방법은 데이터 수집자를 신뢰할 필요 없이 사생활 보장 A/B 테스트를 가능하게 하며, 강력한 비밀유지 제약 조건 하에서도 오류 제어가 보장된다.

ABSTRACT

A statistical hypothesis test determines whether a hypothesis should be rejected based on samples from populations. In particular, randomized controlled experiments (or A/B testing) that compare population means using, e.g., t-tests, have been widely deployed in technology companies to aid in making data-driven decisions. Samples used in these tests are collected from users and may contain sensitive information. Both the data collection and the testing process may compromise individuals' privacy. In this paper, we study how to conduct hypothesis tests to compare population means while preserving privacy. We use the notation of local differential privacy (LDP), which has recently emerged as the main tool to ensure each individual's privacy without the need of a trusted data collector. We propose LDP tests that inject noise into every user's data in the samples before collecting them (so users do not need to trust the data collector), and draw conclusions with bounded type-I (significance level) and type-II errors (1 - power). Our approaches can be extended to the scenario where some users require LDP while some are willing to provide exact data. We report experimental results on real-world datasets to verify the effectiveness of our approaches.

연구 동기 및 목표

• 사용자가 데이터 수집자를 신뢰할 필요 없이 국소적 차별적 비밀유지(LDP) 하에서 사생활 보장 A/B 테스트를 수행할 수 있도록 하는 것.
• LDP 하에서 표본 분산을 추정하는 문제를 해결하는 것 — 이는 t-검정에 필수적이지만 이전에는 해결되지 않은 문제.
• LDP 보호 가설 검정에서 제1종 오류(유의수준)와 통계적 검정력에 대한 이론적 보장을 제공하는 것.
• 일부 사용자는 LDP를 요구하고 다른 사용자는 정확한 데이터를 제공하는 하이브리드 비밀유지 모델을 지원하는 것.
• 실세계 데이터셋을 대상으로 다양한 비밀유지 수준과 표본 크기 제약 조건 하에서 제안된 검정의 효과를 경험적으로 검증하는 것.

제안 방법

• 원래 모집단 분포와 LDP 메커니즘이 유도하는 변환된 분포 간의 관계를 분석하는 변환 기반 LDP 검정을 제안한다.
• LDP 보호된 표본의 변환된 분포를 사용하여 직접 검정 통계량과 p-값을 계산함으로써 분산 추정에 의존하지 않는다.
• 정리 3를 활용하여 주어진 유의수준에서 목표 통계적 검정력을 달성하기 위해 필요한 표본 크기의 분석적 하한을 유도한다.
• LDP 보호된 데이터와 비-LDP 사용자로부터의 정확한 데이터를 조합하는 하이브리드 LDP 검정($\mathfrak{T}^{\sf mix}_\varepsilon$)을 도입하며, 사용자 유형에 따라 노이즈 수준을 조정한다.
• 강력한 비밀유지를 요구하는 사용자를 위해 이진 LDP 메커니즘($\mathfrak{T}^{\sf bin}_\varepsilon$)을 활용하며, 노이즈는 $\varepsilon$-LDP에 맞게 캘리브레이션된다.
• 다양한 평균 간격($\theta$)을 가진 실세계 데이터셋과 시뮬레이션된 A/B 테스트 시나리오를 사용하여 검정의 유의수준과 검정력을 검증한다.

실험 결과

연구 질문

• RQ1 국소적 차별적 비밀유지(LDP) 하에서 모집단 평균을 비교하는 가설 검정을 설계할 수 있을까? 이 경우 제1종 오류(유의수준)가 유한하게 유지되는가?
• RQ2 분산 추정이 불가능한 상황에서 LDP 보호 t-검정에서 통계적 검정력에 대한 증명 가능한 하한을 달성할 수 있는가?
• RQ3 LDP 보호 A/B 테스트에서 표본 크기가 비밀유지 예산 $\varepsilon$와 평균 차이 $\theta$에 따라 어떻게 변화하는가?
• RQ4 제안된 방법이 일부 사용자만 LDP를 요구하는 하이브리드 비밀유지 모델을 지원할 수 있는가?
• RQ5 다양한 비밀유지 수준과 표본 크기 조건 하에서 LDP 검정의 경험적 성능과 오류율은 비공개 t-검정과 비교해 어떻게 되는가?

주요 결과

• 변환 기반 LDP 검정($\mathfrak{T}^{\sf bin}_\varepsilon$)은 큰 도메인 크기와 높은 $\varepsilon$ 값(예: $\varepsilon = 5$) 조건에서도 사전 설정된 유의수준($\alpha$)을 성공적으로 유지한다.
• 추정 기반 LDP 검정($\mathfrak{T}^{\sf est}_\varepsilon$)은 분산 추정에서 높은 분산을 보이며, 이로 인해 데이터 도메인 크기 $m$이 증가할수록 목표 $\alpha$를 초과하는 제1종 오류가 발생한다.
• 평균 차이 $\theta = 60$일 때, $\varepsilon = 5$인 $\mathfrak{T}^{\sf bin}_\varepsilon$는 비공개 웰치의 t-검정에 비해 약 3배 더 많은 표본이 필요로 하여 80%의 검정력을 달성한다.
• 정리 3(식 11)를 통한 이론적 표본 크기 추정은 '안전한' 하한을 제공한다: 이러한 크기의 표본은 실험에서 목표 검정력 0.8을 항상 달성하거나 초과한다.
• 하이브리드 환경에서는 LDP 보호 사용자 비율을 줄일수록 필요 표본 크기가 크게 감소한다: LDP 사용자가 50%일 경우 전체 LDP와 비교해 표본 크기가 반으로 줄고, 1%일 경우 비공개 테스트 요구사항에 가까워진다.
• 하이브리드 검정 $\mathfrak{T}^{\sf mix}_\varepsilon$는 비밀유지와 효율성을 효과적으로 균형 잡으며, 부분적인 LDP 도입이 표본 크기를 극적으로 줄일 수 있음을 보여주며, 동시에 유의수준과 검정력에 영향을 주지 않는다.