[논문 리뷰] Differentially Private Hypothesis Testing, Revisited.

Yue Wang, Jae Wook Lee외 1명|arXiv (Cornell University)|2015. 11. 11.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 16

한 줄 요약

이 논문은 정밀도에 특화된 渐近적 영역을 사용하여 이전 방법의 한계를 극복하고 정확성과 신뢰성을 향상시키는, 차별적 비밀유지 가설검정을 위한 새로운 프레임워크를 제안한다. 표본 데이터에 대한 비밀유지된 우도비와 카이제곱 검정을 개발하여 다양한 비밀유지 설정에서 최소한의 노이즈 영향으로 p-값에 대해 실용적인 성능을 보여준다.

ABSTRACT

Hypothesis testing is different from traditional applications of differential privacy in that one needs an accurate estimate of how the noise affects the result (i.e. a $p$-value). Previous approaches to differentially private hypothesis testing either used output perturbation techniques that generally had large sensitivities (hence risked swamping the data with noise), or input perturbation techniques that resulted in highly unreliable $p$-values (and hence invalid statistical conclusions). In this paper, we develop a variety of practical hypothesis tests that address these problems. Using a different asymptotic regime that is more suited to hypothesis testing with privacy, we show a modified equivalence between chi-squared tests and likelihood ratio tests. We then develop differentially private likelihood ratio and chi-squared tests for a variety of applications on tabular data (i.e., independence, homogeneity, and goodness-of-fit tests). An open problem is whether new test statistics specialized to differential privacy could lead to further improvements. To aid in this search, we further propose a permutation-based testbed that can allow experimenters to empirically estimate the behavior of new test statistics for private hypothesis testing before fully working out their mathematical details (such as approximate null distributions). Experimental evaluations on small and large datasets using a wide variety of privacy settings demonstrate the practicality and reliability of our methods.

연구 동기 및 목표

• 기존의 차별적 비밀유지 가설검정 방법에서 p-값의 낮은 신뢰성 문제를 해결하기 위해.
• 비밀유지 제약 조건에 더 잘 부합하도록 渐近적 영역을 재정의하여 비밀유지 가설검정의 노이즈 민감도를 감소시키기 위해.
• 표본 데이터에서 독립성, 동질성, 적합도와 같은 일반적인 통계 작업을 위한 실용적이고 정확한 비밀유지 검정을 개발하기 위해.
• 완전한 수학적 유도 없이도 새로운 비밀유지 검정 통계량을 경험적으로 평가하기 위한 테스트베드를 제공하기 위해.
• 연구자들이 완전한 근본 분포 분석을 사전에 수행하지 않아도 비밀유지 최적화된 검정 통계량을 탐색할 수 있도록 하기 위해.

제안 방법

• 차별적 비밀유지에 특화된 수정된 渐近적 영역을 도입하여 노이즈와 통계적 검정력 간의 보다 나은 일치를 가능하게 한다.
• 이 새로운 영역 하에서 우도비 검정과 카이제곱 검정 간의 이론적 동치성을 확립한다.
• 독립성, 동질성, 적합도를 위한 비밀유지된 우도비 및 카이제곱 검정의 다양한 변형을 개발한다.
• 완전한 근본 분포의 분석이 필요 없이도 새로운 비밀유지 검정 통계량을 경험적으로 평가할 수 있도록 순열 기반 테스트베드를 제안한다.
• p-값의 왜곡을 최소화하면서도 비밀유지를 유지하기 위해 보정된 노이즈를 사용하는 출력 편향 기법을 적용한다.
• 작은 데이터셋과 큰 데이터셋 모두에서 통계적 타당성을 유지하기 위해 비밀유지 예산 할당 전략을 활용한다.

실험 결과

연구 질문

• RQ1 새로운 渐近적 영역이 차별적 비밀유지 가설검정에서 p-값의 정확성과 신뢰성 향상에 기여할 수 있는가?
• RQ2 차별적 비밀유지 하에서 비밀유지된 우도비 및 카이제곱 검정을 어떻게 구성할 수 있는가? 이는 통계적 타당성을 유지하기 위해.
• RQ3 순열 기반 테스트베드는 비밀유지 검정 통계량의 근본 분포에 대한 완전한 분석이 필요한 정도를 어느 정도 감소시킬 수 있는가?
• RQ4 다양한 데이터 크기와 비밀유지 예산에서 비밀유지 가설검정이 실용적이고 신뢰성 있는가?
• RQ5 실세계 환경에서 출력 편향 대비 입력 편향을 사용할 경우 비밀유지 검정의 성능 상충 관계는 어떠한가?

주요 결과

• 제안된 비밀유지된 우도비 및 카이제곱 검정은 이전의 출력 또는 입력 편향 방법보다 훨씬 더 신뢰할 수 있는 p-값을 달성한다.
• 수정된 渐近적 영역은 차별적 비밀유지 하에서 우도비 검정과 카이제곱 검정 간의 이론적 동치성을 가능하게 하여 일관성을 향상시킨다.
• 실험적 평가 결과, 다양한 비밀유지 예산 하에서 작은 데이터셋과 큰 데이터셋 모두에서 안정적이고 정확한 p-값을 확보하였다.
• 순열 기반 테스트베드를 통해 근본 분포의 완전한 수학적 분석 없이도 새로운 비밀유지 검정 통계량을 효율적으로 경험적으로 평가할 수 있었다.
• 이 방법은 검정 통계량의 노이즈 유도 왜곡을 감소시켜 차별적 비밀유지 하에서 더 타당한 통계적 결론을 이끌어내는 데 기여한다.
• 강력한 비밀유지 보장을 제공하면서도 표본 데이터 분석에 실용적으로 적용 가능한 가능성을 입증하였다.