[논문 리뷰] Priv'IT: Private and Sample Efficient Identity Testing

Bryan Cai, Constantinos Daskalakis외 1명|arXiv (Cornell University)|2017. 03. 29.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 12

한 줄 요약

Priv'IT는 소규모 샘플 환경에서 최적의 표본 복잡도를 달성하는 비밀성 보장이 되는 신뢰성 있는 신뢰도 테스트 방법을 제안한다. 기존의 노이즈가 포함된 카이제곱 검정 및 반복 기반 방법보다 뛰어나며, 비밀성 파rameter ε 가 통계적 정확도 α 에 비해 충분히 클 경우 비밀성이 거의 추가 비용 없이 달성될 수 있음을 보여준다.

ABSTRACT

We develop differentially private hypothesis testing methods for the small sample regime. Given a sample $\cal D$ from a categorical distribution $p$ over some domain $Σ$, an explicitly described distribution $q$ over $Σ$, some privacy parameter $\varepsilon$, accuracy parameter $α$, and requirements $β_{ m I}$ and $β_{ m II}$ for the type I and type II errors of our test, the goal is to distinguish between $p=q$ and $d_{ m{TV}}(p,q) \geq α$. We provide theoretical bounds for the sample size $|{\cal D}|$ so that our method both satisfies $(\varepsilon,0)$-differential privacy, and guarantees $β_{ m I}$ and $β_{ m II}$ type I and type II errors. We show that differential privacy may come for free in some regimes of parameters, and we always beat the sample complexity resulting from running the $χ^2$-test with noisy counts, or standard approaches such as repetition for endowing non-private $χ^2$-style statistics with differential privacy guarantees. We experimentally compare the sample complexity of our method to that of recently proposed methods for private hypothesis testing.

연구 동기 및 목표

• 민감한 데이터에서 (ε,0)-차별적 비밀성 보장 하에 신뢰도 테스트를 수행하는 데 도전하는 문제를 해결한다.
• 제1종 오류 비율(β_I)과 제2종 오류 비율(β_II)에 대한 엄격한 제약 조건 하에서 표본 복잡도를 최소화한다.
• 소규모 표본 환경에서 비밀성을 유지하면서도 높은 통계적 검정력을 유지하는 방법을 개발한다.
• 차별적 비밀성 보장이 표본 수 증가 없이도 달성될 수 있음을 입증한다. 이는 특정 매개변수 영역에서는 추가 비용 없이도 비밀성이 실현 가능함을 의미한다.

제안 방법

• privatized 경험 빈도 수와 맞춤형 통계 검정을 기반으로 한 새로운 비밀성 보장 테스트 프레임워크를 제안한다.
• (ε,0)-차별적 비밀성 보장에 맞춰 조정된 노이즈를 적용한 카이제곱 검정 통계량의 비밀성 보장된 버전을 사용한다.
• 빈도가 낮은 영역에서 빈도 수가 희박할 경우 검정 통계량을 안정화하기 위해 투영 기반 메커니즘을 적용한다.
• √n/α², √n/(α³/²ε), n¹/³/(α⁵/³ε²/³) 및 1/β에 대한 로그적 의존성에 따라 표본 수의 한계를 설정한다.
• 통계적 유틸리티를 유지하면서도 철저히 설계된 노이즈 추가 메커니즘을 통해 비밀성을 확보한다.
• 이론적 분석을 활용하여, 제안된 방법이 (ε,0)-차별적 비밀성 보장과 원하는 오류 보장을 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 신뢰도 테스트에서 최소한의 표본 복잡도 증가로 차별적 비밀성 보장을 달성할 수 있는가?
• RQ2 어떤 매개변수 영역에서 차별적 비밀성 보장이 '무료'로 달성되는가? 즉, 표본 수 증가 없이도 가능한가?
• RQ3 GLRV16 및 KR17와 같은 기존의 비밀성 보장 테스트 방법과 비교해 Priv'IT는 표본 효율성이 얼마나 뛰어나게 되는가?
• RQ4 분포의 구조(예: 무거운 尾 또는 히스토그램 유사 구조)가 비밀성 보장 테스트 성능에 어떤 영향을 미치는가?
• RQ5 실무에서 (기본적인) 차별적 비밀성 보장 방법이 zCDP 기반 방법보다 더 뛰어난 표본 효율성을 제공하는가?

주요 결과

• Priv'IT는 Õ(max{√n/α², √n/(α³/²ε), n¹/³/(α⁵/³ε²/³}) · log(1/β)의 표본 복잡도를 달성하며, 로그 인자 외에는 최적이다.
• ε = Ω(√α 일 경우 비밀성이 '무료'로 달성되며, 예를 들어 ε = 10% 및 α = 3%일 경우 추가 표본이 필요하지 않다.
• 실험 결과, Priv'IT는 zCDP-GOF 및 MCGOF와 비교해 모든 테스트된 분포에서 뛰어난 성능을 보였다. 특히 희박한 지지 집합을 가진 2-히스토그램에서도 동일하게 뛰어난 성능을 보였다.
• 근사적 차별적 비밀성 보장(δ > 0)을 위한 균일성 테스트에서, Priv'IT는 테스트된 모든 δ 값에서 zCDP-GOF보다 더 적은 표본 수가 필요로 했다.
• zCDP-GOF는 O(n²) 행렬 연산을 요구하여 n = 11,800에서 메모리가 부족해졌지만, Priv'IT는 더 메모리 효율적이었다.
• 런타임 면에서도 Priv'IT는 더 빠르며, MCGOF가 n = 10,000에 도달하는 데 걸리는 시간 동안 n = 20,000의 더 큰 지지 집합을 처리할 수 있었다.