[논문 리뷰] Differentially Private Identity and Closeness Testing of Discrete Distributions

Maryam Aliakbarpour, Ilias Diakonikolas외 1명|arXiv (Cornell University)|2017. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 10

한 줄 요약

이 논문은 이산 분포의 정체성 및 밀도 테스팅을 위한 샘플 효율적인 비밀유지 알고리즘을 제안하며, Paninski의 테스터와 충돌 기반 균일성 테스터의 비밀유지 변형을 활용한다. 비밀유지가 아닌 경우와 비교해 샘플 복잡도가 거의 최적에 가까운 수준이며, 비밀유지의 비용이 매우 낮게 유지되며, 부분선형 영역에서 강력한 비밀유지-유용성 트레이드오프를 보여준다.

ABSTRACT

We investigate the problems of identity and closeness testing over a discrete population from random samples. Our goal is to develop efficient testers while guaranteeing Differential Privacy to the individuals of the population. We describe an approach that yields sample-efficient differentially private testers for these problems. Our theoretical results show that there exist private identity and closeness testers that are nearly as sample-efficient as their non-private counterparts. We perform an experimental evaluation of our algorithms on synthetic data. Our experiments illustrate that our private testers achieve small type I and type II errors with sample size sublinear in the domain size of the underlying distributions.

연구 동기 및 목표

• 부분선형 영역에서 이산 분포의 정체성 및 밀도 테스팅을 위한 효율적인 비밀유지 테스터를 개발한다.
• 비밀유지로 인해 발생하는 샘플 복잡도의 오버헤드를 최소화하면서도 강력한 비밀유지 보장을 유지한다.
• 특히 균일성 테스팅 감소 기법을 비밀유지 환경으로 확장하여 효율 손실을 최소화한다.
• 샘플 크기가 도메인 크기의 부분선형일 때조차도 낮은 제1종 및 제2종 오류를 달성하는 비밀유지 테스터를 설계한다.
• 비밀유지 보장과 정확도 보장이 입증된 첫 번째 샘플 효율적인 비밀유지 밀도 테스터를 제공한다.

제안 방법

• 정체성 테스팅을 균일성 테스팅으로의 블랙박스 감소 기법을 적응하여, 비밀유지 균일성 테스터를 통해 비밀유지 정체성 테스팅을 실현하며 샘플 크기의 상수배 증가만을 수반한다.
• 특성가치가 정확히 한 번 나타나는 원소의 수를 기반으로 한 Paninski의 균일성 테스터의 비밀유지 버전을 개발하며, 이는 낮은 민감도를 가지므로 효율적인 라플라스 노이즈 추가가 가능하다.
• 충돌 기반 통계량의 민감도를 낮추기 위해 사전 처리 단계를 도입하여 빈번하게 나타나는 원소를 포함한 샘플을 거부한다.
• 라플라스 메커니즘을 사용하여 비밀유지를 보장하며, 민감도 분석을 통해 수정된 통계량이 유한한 민감도(최대 8)를 가짐을 증명한다.
• 체비셰프 부등식과 분산 한계를 적용하여 비밀유지 테스팅 프레임워크 하에서 제1종 및 제2종 오류 확률을 분석한다.
• 테스트 통계량에 대해 두 부분 분석을 수행한다: 높은 기대값을 가지는 원소들에 대한 분석과 낮은 빈도의 원소들에 대한 분석을 별도로 수행하여 분산을 제한하고 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 비밀유지 정체성 테스팅은 비밀유지가 아닌 테스터와 비슷한 샘플 복잡도로 달성될 수 있는가?
• RQ2 이산 분포의 밀도 테스팅에서 비밀유지를 달성하기 위해 필요한 최소한의 샘플 복잡도 오버헤드는 얼마인가?
• RQ3 충돌과 같은 높은 민감도를 가지는 통계량은 과도한 샘플 비용 없이 어떻게 비밀유지할 수 있는가?
• RQ4 정체성 테스팅에서 균일성 테스팅으로의 감소 기법을 비밀유지 환경에 적응시켜 효율 손실을 최소화할 수 있는가?
• RQ5 비밀유지 테스터는 부분선형 영역에서 얼마나 낮은 제1종 및 제2종 오류를 달성할 수 있는가?

주요 결과

• 제안된 비밀유지 정체성 테스터는 비밀유지가 아닌 Paninski 테스터와 비슷한 샘플 복잡도를 달성하며, 오버헤드는 O(√n/ε² + √n/(ε√ξ)) 수준이다.
• 비밀유지된 충돌 기반 접근 방식을 기반으로 한 비밀유지 밀도 테스터는 부분선형 샘플 복잡도를 달성하며, 비밀유지 보장과 정확도 보장이 입증된 첫 번째 방법이다.
• 테스트 통계량의 분산은 O(min{m,n})에 더하여 분포 간 L2 거리와 관련된 항목으로 제한되며, 이는 체비셰프 부등식을 통해 오류 확률 제어가 가능하다.
• 샘플 크기가 충분히 클 경우, 테스트 통계량의 기대값이 충분히 크면 제1종 오류는 1/3 이하로 제한된다.
• 비밀유지 보장은 라플라스 메커니즘을 통해 달성되며, 최종 통계량의 민감도가 최대 8임을 증명하여 ξ-비밀유지 보장을 확보한다.
• 실험적 평가 결과, 비밀유지 테스터는 도메인 크기의 부분선형 샘플 크기에서 낮은 제1종 및 제2종 오류를 달성함을 확인하였다.