[논문 리뷰] Locally Private Hypothesis Testing

Or Sheffet|arXiv (Cornell University)|2018. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 10

한 줄 요약

이 논문은 국소 모델에서 미분적 보장을 갖는 가설 검정을 제안하며, 대칭(랜덤라이즈드 리스폰스) 및 비대칭 메커니즘을 모두 분석한다. 국소 비밀성 보장 하에서 최대우도 추정의 가능성을 입증하고, 비대칭 메커니즘을 사용하여 정체성 검정 및 인덴펜던스 검정의 더 날카운 샘플 복잡도 한계를 유도하며, 경험적으로 검증된 카이제곱 기반 검정기를 제안하여 대칭 메커니즘 대비 더 높은 효율성을 보여준다.

ABSTRACT

We initiate the study of differentially private hypothesis testing in the local-model, under both the standard (symmetric) randomized-response mechanism (Warner, 1965, Kasiviswanathan et al, 2008) and the newer (non-symmetric) mechanisms (Bassily and Smith, 2015, Bassily et al, 2017). First, we study the general framework of mapping each user's type into a signal and show that the problem of finding the maximum-likelihood distribution over the signals is feasible. Then we discuss the randomized-response mechanism and show that, in essence, it maps the null- and alternative-hypotheses onto new sets, an affine translation of the original sets. We then give sample complexity bounds for identity and independence testing under randomized-response. We then move to the newer non-symmetric mechanisms and show that there too the problem of finding the maximum-likelihood distribution is feasible. Under the mechanism of Bassily et al (2007) we give identity and independence testers with better sample complexity than the testers in the symmetric case, and we also propose a $χ^2$-based identity tester which we investigate empirically.

연구 동기 및 목표

• 각 사용자가 자신의 데이터에 대해 독립적으로 비밀 메커니즘을 적용하는 국소 모델에서의 미분적 보장 가설 검정을 연구한다.
• 대칭 및 비대칭 설계를 포함한 국소 비밀성 메커니즘 하에서 최대우도 추정의 실현 가능성을 분석한다.
• 국소 미분적 비밀성 하에서 정체성 및 인덴펜던스 검정의 샘플 복잡도 한계를 도출한다.
• 유형 공간 크기와 함께 로그 스케일링이 가능한 비대칭 메커니즘을 활용하여 기존 대칭 메커니즘을 개선한다.
• 비대칭 메커니즘 하에서 카이제곱 기반 정체성 검정기의 경험적 성능을 조사한다.

제안 방법

• 사용자 유형에서 신호로의 랜덤화된 메커니즘을 통해 국소 미분적 비밀성을 모델링하며, 에프실론-미분적 비밀성 보장이 이루어지도록 한다.
• 예를 들어 랜덤라이즈드 리스폰스와 같은 대칭 메커니즘을 색인 무관 매핑으로 분석하고, 이들이 근본 가설 및 대립 가설 집합에 선형 이동을 유도함을 보인다.
• 공개된 사용자 고유 매핑을 통해 신호로의 비대칭 메커니즘(예: Bassily 등 [BNST17])을 도입하며, 이는 유형 공간 크기와 함께 로그 스케일링이 가능하게 한다.
• 대칭 및 비대칭 메커니즘 하에서 신호 분포에 대한 최대우도 추정 절차를 유도한다.
• 비대칭 메커니즘 하에서 정체성 검정을 위한 카이제곱 기반 검정 통계량을 제안하고, 근본 가설 및 대립 가설 하에서의 경험적 분포를 평가한다.
• 이진 탐색과 경험적 기각 확률을 활용해 샘플 복잡도를 추정하며, 추측된 형태 $ T^{1.5}/(\alpha^2 \epsilon^2) $ 에 적합시킨다.

실험 결과

연구 질문

• RQ1 대칭 및 비대칭 메커니즘을 포함한 국소 미분적 비밀성 메커니즘 하에서 최대우도 추정을 효율적으로 계산할 수 있는가?
• RQ2 대칭 메커니즘과 비대칭 메커니즘 간에 국소 비밀성 하에서 정체성 및 인덴펜던스 검정의 샘플 복잡도는 어떻게 비교되는가?
• RQ3 카이제곱 기반 검정 통계량은 국소 모델에서 정체성 검정에 효과적으로 사용될 수 있는가? 그리고 근본 가설과 대립 가설을 구분할 수 있는가?
• RQ4 국소 비밀성 검정기가 높은 확률로 근본 가설을 기각하기 위해 필요한 경험적 샘플 복잡도는 얼마인가?
• RQ5 제안된 카이제곱 검정 통계량의 분포는 근본 가설 하에서 카이제곱 분포로 수렴하는가, 아니면 경험적으로 구별 가능한가?

주요 결과

• 대칭 및 비대칭 국소 비밀성 메커니즘 하에서 신호에 대한 최대우도 분포 계산이 가능하다.
• 비대칭 메커니즘(예: [BNST17])은 대칭 메커니즘 대비 더 낮은 샘플 복잡도를 갖는 정체성 및 인덴펜던스 검정기를 제공한다.
• 경험적 결과는 약 $ T^{1.5}/(\alpha^2 \epsilon^2) $ 의 샘플 복잡도를 보이며, 지수 $ c_T \approx 1.49 $, $ c_\alpha \approx -1.93 $, $ c_\epsilon \approx -1.90 $ 를 갖는다.
• 제안된 카이제곱 기반 정체성 검정기는 근본 가설과 대립 가설 하에서 분포가 유의미하게 다름을 보이며, 이는 이론적 카이제곱 분포와 다를지라도 잠재적인 유용성을 시사한다.
• 비대칭 메커니즘 하에서의 주변 분포 추정량은 상호 독립적이지 않아 카이제곱 통계량을 직접 합산할 수 없으며, 이는 아직 해결되지 않은 문제이다.
• 경험적 평가 결과, 검정 통계량 $ Q(\boldsymbol{\theta}) = n\sum_x \frac{(\frac{1}{2\eta}\theta(x) - \bar{\theta}(x))^2}{\bar{\theta}(x)} $ 가 서로 다른 가설 하에서 구별 가능함을 확인하였으며, 이는 이 통계량을 후보 검정 통계량으로 사용할 수 있음을 뒷받침한다.