[논문 리뷰] Private Identity Testing for High-Dimensional Distributions

Clément L. Canonne, Gautam Kamath외 3명|arXiv (Cornell University)|2019. 05. 28.

Privacy-Preserving Technologies in Data참고 문헌 85인용 수 9

한 줄 요약

이 논문은 초입체 {±1}^d 위의 고차원 분포에 대한 차별적 비공식 정체성 테스팅 알고리즘을 제안한다. 이 알고리즘은 적응형 오차 임계값을 사용하는 재귀적 리프시츠 확장 테스트를 활용하며, 샘플 복잡도가 차원 d에 대해 비선형적으로 증가하고, 비밀성 파rameter ε 및 β가 정확도와 신뢰도를 제어한다.

ABSTRACT

In this work we present novel differentially private identity (goodness-of-fit) testers for natural and widely studied classes of multivariate product distributions: Gaussians in $\mathbb{R}^d$ with known covariance and product distributions over $\{\pm 1\}^{d}$. Our testers have improved sample complexity compared to those derived from previous techniques, and are the first testers whose sample complexity matches the order-optimal minimax sample complexity of $O(d^{1/2}/α^2)$ in many parameter regimes. We construct two types of testers, exhibiting tradeoffs between sample complexity and computational complexity. Finally, we provide a two-way reduction between testing a subclass of multivariate product distributions and testing univariate distributions, and thereby obtain upper and lower bounds for testing this subclass of product distributions.

연구 동기 및 목표

• 고차원 초입체 {±1}^d 위의 분포에 대한 차별적 비공식 정체성 테스팅 프로토콜을 설계하기.
• ε와 β에 의한 (ε, β)-차별적 비공식성과 일정한 통계적 정확도를 확보하면서 샘플 복잡도를 최소화하기.
• 리프시츠 확장 테스트를 사용해 오차 임계값을 재귀적으로 정밀화하여 고차원성의 과제를 다루기.
• 기존 비공식 또는 덜 적응적인 방법보다 열 劣한 성능을 보이는, d에 대해 비선형적으로 증가하는 샘플 복잡도를 달성하기.
• 재귀적 테스팅 절차의 비밀성, 정확성, 수렴성에 대한 이론적 보장을 제공하기.

제안 방법

• 알고리즘은 M = ⌈log n⌉로 초기화하고, 각 재귀 단계에 비밀성 예산을 분배하기 위해 ε′ = ε/M로 설정한다.
• Δ*는 d, √(nd), 및 (ln(1/β))/ε′를 기반으로 한 복합 임계값으로, 다양한 척도에서의 강건성을 확보한다.
• m가 1에서 M−1까지 증가하는 동안 Δ^(m)을 반복적으로 계산하며, 재귀적 갱신을 사용한다: Δ^(m+1) = 11(d + √(nd) + Δ^(m)/(nε′) + √(Δ^(m)/ε′)) · ln(1/β).
• 각 단계에서 LipschitzExtensionTest(X, ε′, Δ^(m), β)를 호출하여, 분포가 목표와 Δ^(m) 거리 이내인지 확인한다.
• 어느 단계에서든 테스트가 기각하면 알고리즘이 즉시 기각을 반환하며, 이는 비밀성과 정확성 보장을 보장한다.
• Δ^(m) ≤ Δ*가 되면 루프가 종료되고, 최종 Δ^(M)은 Δ^(m)으로 설정되며, 결정을 내리고 프로세스를 종료한다.

실험 결과

연구 질문

• RQ1 고차원 {±1}^d 분포에 대해 비선형 샘플 복잡도를 갖는 차별적 비공식 정체성 테스트를 구성할 수 있는가?
• RQ2 정확도와 비밀성을 유지하기 위해 재귀 단계 간 비밀성 예산을 어떻게 적응적으로 할당할 수 있는가?
• RQ3 고차원 환경에서 비공식 정체성 테스트에 필요한 최소 샘플 복잡도는 무엇인가?
• RQ4 재귀적 임계값 설정 메커니즘은 단일 단계 접근 방식에 비해 어떻게 강건성을 향상시키는가?
• RQ5 재귀적 리프시츠 확장 테스트의 수렴성과 정확성에 대해 어떤 이론적 보장을 도출할 수 있는가?

주요 결과

• 알고리즘은 ε′ = ε/M로 설정된 재귀적 리프시츠 확장 테스트 적용을 통해 (ε, β)-차별적 비공식성을 달성한다.
• 최종 샘플 복잡도는 O(d + √(nd) + (1/ε′) · √(Δ^(m)/ε′)) · ln(1/β)로 유계이며, Δ^(m)은 n에 대해 로그적으로 증가한다.
• 알고리즘은 O(log n) 반복 내에 종료되어 고차원 영역에서 효율성을 보장한다.
• 재귀적 임계값 갱신은 Δ^(m)의 느린 증가를 보장하여 정확성을 유지하면서 비밀성을 유지한다.
• 중간 단계에서 리프시츠 확장 테스트가 실패하면 테스트는 기각을 반환하며, 비밀성 제약 조건 하에서 정확성을 보장한다.
• 이 방법은 샘플 복잡도에서 d에 대해 비선형적 의존성을 달성하여 고차원 데이터에 대해 확장 가능하다.