[논문 리뷰] Test without Trust: Optimal Locally Private Distribution Testing

Jayadev Acharya, Clément L. Canonne외 2명|arXiv (Cornell University)|2018. 08. 07.

Privacy-Preserving Technologies in Data인용 수 39

한 줄 요약

이 논문은 균일성 및 독립성 테스팅을 위한 최적의 표본 복잡도를 달성하기 위해 사용자당 단일 비트만 필요로 하는 새로운 공개 코인 국소적 차별적 비밀유지 메커니즘인 Raptor를 소개한다. 이는 날카운 표본 복잡도 한계를 확립하여, 공개 코인 메커니즘인 Raptor가 최적의 성능을 달성함을 보이며, 기존의 비공개 코인 메커니즘(예: RAPPOR, 히드라드 응답)은 그 자체의 본질적 한계로 인해 훨씬 더 많은 표본이 필요로 함을 시사한다.

ABSTRACT

We study the problem of distribution testing when the samples can only be accessed using a locally differentially private mechanism and focus on two representative testing questions of identity (goodness-of-fit) and independence testing for discrete distributions. We are concerned with two settings: First, when we insist on using an already deployed, general-purpose locally differentially private mechanism such as the popular RAPPOR or the recently introduced Hadamard Response for collecting data, and must build our tests based on the data collected via this mechanism; and second, when no such restriction is imposed, and we can design a bespoke mechanism specifically for testing. For the latter purpose, we introduce the Randomized Aggregated Private Testing Optimal Response (RAPTOR) mechanism which is remarkably simple and requires only one bit of communication per sample. We propose tests based on these mechanisms and analyze their sample complexities. Each proposed test can be implemented efficiently. In each case (barring one), we complement our performance bounds for algorithms with information-theoretic lower bounds and establish sample optimality of our proposed algorithm. A peculiar feature that emerges is that our sample-optimal algorithm based on RAPTOR uses public-coins, and any test based on RAPPOR or Hadamard Response, which are both private-coin mechanisms, requires significantly more samples.

연구 동기 및 목표

• 고도의 비밀유지 제약 조건 하에서 분포 테스팅을 위한 최적의 표본 복잡도를 달성하는 국소적 차별적 비밀유지 메커니즘을 설계하는 것.
• 기존의 LDP 메커니즘(예: RAPPOR, 히드라드 응답)과 균일한 분포 테스팅에서 최적 성능 사이의 격차를 해소하는 것.
• 공개 랜덤성을 사용하여 균일성 및 독립성 테스팅에 대해 표본 최적 성능을 달성하는 새로운 메커니즘인 Raptor를 개발하는 것.
• 제안된 알고리즘의 최적성과 증명하는 정보 이론적 하한을 설정하는 것.

제안 방법

• 각 사용자가 도메인의 공개적으로 알려진 랜덤 부분집합에 속해 있는지를 나타내는 단일 비트를 전송하는 공개 코인 국소 비밀유지 메커니즘인 Raptor를 제안한다.
• 이변량 경우에서 3비트의 공동 지표에 대해 $\varepsilon/3$의 랜덤라이즈드 응답을 사용하여 $\varepsilon$-국소적 차별적 비밀유지 성질을 확보한다.
• 여러 개의 독립적 시도에 걸쳐 중앙값 기법을 적용하여 성공 확률을 $2/3$으로 향상시킨다.
• 편향된 공동 확률에 대한 농도 부등식을 적용하여 균일성 또는 독립성의 이탈을 탐지한다.
• 공동 확률 편향의 농도 정리(정리 28)를 사용하여 총 변동 거리와 관측 가능한 부분집합 빈도 사이의 관계를 설정한다.
• 균일성 테스팅으로의 감소를 통한 하한 설정을 통해, 독립성 테스팅이 $[k] \times [k]$에서 균일성 테스팅만큼 어렵다는 것을 보이며, 하한을 $\Omega\left(\frac{k^2}{\gamma^2 \varepsilon^2}\right)$로 설정한다.

실험 결과

연구 질문

• RQ1 Can we design a locally private mechanism that achieves optimal sample complexity for distribution testing under $\varepsilon$-local differential privacy?
• RQ2 Why do private-coin mechanisms like RAPPOR and Hadamard Response require significantly more samples than public-coin mechanisms for the same testing task?
• RQ3 Is there a fundamental gap between the performance of general-purpose LDP mechanisms and bespoke, optimized mechanisms in distribution testing?
• RQ4 Can we prove information-theoretic lower bounds that match the upper bounds of our proposed algorithms?
• RQ5 What is the optimal sample complexity for locally private independence testing, and how does it relate to uniformity testing?

주요 결과

• Raptor는 $[k] \times [k]$에서 독립성 테스팅에 대해 $O\left(\frac{k^2}{\gamma^2 \varepsilon^2}\right)$의 표본 복잡도를 달성하며, 이는 정보 이론적으로 최적이다.
• Raptor의 표본 복잡도는 $\Omega\left(\frac{k^2}{\gamma^2 \varepsilon^2}\right)$의 하한과 일치하여, $\varepsilon \in (0,1]$에 대해 최적성임을 증명한다.
• RAPPOR 및 히드라드 응답과 같은 비공개 코인 메커니즘은 공개 랜덤성의 부재로 인해 Raptor보다 훨씬 더 많은 표본이 필요로 한다.
• 논문은 국소적 비밀유지 독립성 테스팅이 $[k] \times [k]$에서 국소적 비밀유지 균일성 테스팅만큼 어렵다는 것을 증명하며, $\Omega\left(\frac{k^2}{\gamma^2 \varepsilon^2}\right)$의 하한을 설정한다.
• 핵심 기여 중 하나는 정리 28로, 랜덤 부분집합 샘플링 하에서 공동 확률 편향의 농도를 설정하여 부분집합 기반 추정기의 분석을 가능하게 한다.
• 모든 $\varepsilon$-LDP 메커니즘은 독립성 테스팅에 대해 $\Omega\left(\frac{k^2}{\gamma^2 \varepsilon^2}\right)$의 표본을 사용해야 하며, 이는 Raptor의 최적성 확인한다.