[논문 리뷰] Differentially Private Assouad, Fano, and Le Cam

Jayadev Acharya, Ziteng Sun외 1명|arXiv (Cornell University)|2020. 04. 14.

Privacy-Preserving Technologies in Data참고 문헌 58인용 수 7

한 줄 요약

이 논문은 전통적인 통계 하한 기법—Assouad의 보조정리, Fano의 부등식, Le Cam의 방법—의 미분적 비밀유지 버전을 제안하며, 비밀유지 추정에서의 날카로운 샘플 복잡도 하한을 가능하게 한다. 이는 총 변화 거리와 ℓ₂ 거리 하에서 이산 분포 추정에 대해 최적의 샘플 복잡도를 확립하고, 곱 분포와 가우시안 혼합 분포에 대해 로그 인자까지 날카로운 하한을 제공하며, 비밀유지 제약 조건을 분석하는 커플링 기반 기법을 사용한다.

ABSTRACT

Le Cam's method, Fano's inequality, and Assouad's lemma are three widely used techniques to prove lower bounds for statistical estimation tasks. We propose their analogues under central differential privacy. Our results are simple, easy to apply and we use them to establish sample complexity bounds in several estimation tasks. We establish the optimal sample complexity of discrete distribution estimation under total variation distance and $\ell_2$ distance. We also provide lower bounds for several other distribution classes, including product distributions and Gaussian mixtures that are tight up to logarithmic factors. The technical component of our paper relates coupling between distributions to the sample complexity of estimation under differential privacy.

연구 동기 및 목표

• 전통적인 통계 하한 기법—Assouad의 보조정리, Fano의 부등식, Le Cam의 방법—을 미분적 비밀유지 설정으로 확장하기.
• 총 변화 거리와 ℓ₂ 거리 하에서 이산 분포 추정에 대한 비밀유지 추정의 날카로운 샘플 복잡도 하한을 확립하기.
• 곱 분포와 가우시안 혼합 분포와 같은 구조적 분포 클래스에 대해 미분적 비밀유지 하에서 하한을 유도하기.
• 분포 커플링과 비밀유지 추정에서 샘플 복잡도 간의 관계를 체계화하기.
• (ε,δ)-미분적 비밀유지 하에서 최소 최대 하한을 증명하기 위한 일반적 프레임워크를 제공하기.

제안 방법

• 비밀유지 제약 조건 하에서 매개변수 벡터의 개별 비트 식별 오차와 추정 오차를 연결함으로써, Assouad의 보조정리의 비밀유지 버전을 제안한다.
• 비밀유지 커플링을 사용하여 비밀유지 쿼리와 진짜 매개변수 간의 상호정보량을 분석함으로써, Fano의 부등식을 미분적 비밀유지에 적응시킨다.
• 비밀유지 커플링을 활용하여 이진 가설 검정 문제로 추정 문제를 축소함으로써, Le Cam의 방법의 비밀유지 변형을 개발한다.
• 분포 간 커플링을 사용하여 비밀유지 제약 조건을 최소 추정 오차와 연결하며, 성공적인 커플링이 샘플 복잡도 하한을 의미함을 보여준다.
• 비밀유지 Fano 및 Assouad 하한을 적용하여, 이산 분포 추정, 곱 분포, 가우시안 혼합 분포에 대해 날카로운 샘플 복잡도 하한을 도출한다.
• Gilbert-Varshamov 하한을 사용하여 비밀유지 코드를 구성하고, 좋은 비밀유지 추정기의 존재를 확립함으로써 하한 구성에 기여한다.

실험 결과

연구 질문

• RQ1 미분적 비밀유지 하에서 Assouad의 보조정리, Fano의 부등식, Le Cam의 방법의 대응체는 무엇이며, 비비밀 기반과 어떻게 다를까?
• RQ2 (ε,δ)-미분적 비밀유지 하에서 총 변화 거리와 ℓ₂ 거리 하에서 이산 분포 추정에 대한 최적의 샘플 복잡도는 무엇인가?
• RQ3 비밀유지 제약 조건은 추정 과제에서 최소 최대 위험에 어떤 영향을 미치며, 커플링 기반 기법은 이를 정확히 포착할 수 있는가?
• RQ4 제안된 이 inequality의 비밀유지 버전이 곱 분포와 가우시안 혼합 분포와 같은 구조적 분포 클래스에 대해 날카로운 하한을 도출할 수 있는가?
• RQ5 비밀유지 커플링은 비밀유지 추정의 샘플 복잡도 하한을 유도하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 (ε,δ)-미분적 비밀유지 하에서 총 변화 거리 하에서 이산 분포 추정에 대해 최적의 샘플 복잡도를 확립하였으며, 기존 알려진 상한과 일치한다.
• ℓ₂ 거리 하에서는 최고의 알려진 상한과 로그 인자까지 일치하는 날카로운 하한을 도출하였다.
• 비밀유지 Assouad의 보조정리는 추정 오차를 비밀유지 매개변수와 연결하는 형태의 하한 R(P,ℓ,ε,δ) ≥ (kτ/2)(0.9e^(-10εD) - 10Dδ)을 제공한다.
• 비밀유지 Fano 부등식을 사용하여, (ε,δ)-DP 하에서 이산 분포 추정의 샘플 복잡도가 Ω(k/ε)임을 보였으며, 기존 알려진 상한과 일치한다.
• 곱 분포와 가우시안 혼합 분포에 대해 로그 인자까지 날카로운 하한을 제공하였으며, 제안된 프레임워크의 강력함을 입증한다.
• 비밀유지 제약 조건을 분포의 구별 가능성과 직접 연결하는 새로운 커플링 기반 분석을 통해 결과를 도출하였으며, 이는 날카로운 최소 최대 하한을 가능하게 한다.