[논문 리뷰] Privacy and Statistical Risk: Formalisms and Minimax Bounds

Rina Foygel Barber, John C. Duchi|arXiv (Cornell University)|2014. 12. 15.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 49

한 줄 요약

이 논문은 차별적 비밀유지, 약간의 차별적 비밀유지, 테스트 기반 비밀유지 등 다양한 비밀유지 정의를 체계화하고 비교하며, 특정 조건 하에서 이들의 동치성을 보여준다. 이 비밀유지 제약 조건 하에서 통계적 추정의 최대위험 하한을 유도하여, 비밀유지 정의가 유사한 통계적 성능을 초래하지만, 차원과 모멘트 가정에 따라 다른 의존성을 가짐을 드러낸다.

ABSTRACT

We explore and compare a variety of definitions for privacy and disclosure limitation in statistical estimation and data analysis, including (approximate) differential privacy, testing-based definitions of privacy, and posterior guarantees on disclosure risk. We give equivalence results between the definitions, shedding light on the relationships between different formalisms for privacy. We also take an inferential perspective, where---building off of these definitions---we provide minimax risk bounds for several estimation problems, including mean estimation, estimation of the support of a distribution, and nonparametric density estimation. These bounds highlight the statistical consequences of different definitions of privacy and provide a second lens for evaluating the advantages and disadvantages of different techniques for disclosure limitation.

연구 동기 및 목표

• 통계 추정에서의 비밀유지 정의, 즉 차별적 비밀유지, 약간의 차별적 비밀유지, 테스트 기반 비밀유지 등을 체계화하고 비교하는 것.
• 추정 문제에 대한 최대위험 하한을 통해 이러한 비밀유지 정의의 통계적 영향을 분석하는 것.
• 평균 추정, 지지 추정, 밀도 추정에서 유출 위험과 통계적 성능 간의 트레이드오프를 평가하는 것.
• 다양한 비밀유지 제약 조건 하에서 최대위험 최적 추정 절차를 제공하며, 차원과 모멘트 의존성의 차이를 부각하는 것.
• 특히 원시 데이터가 아닌 모집단 파ameter에 초점을 맞춘 통계 추론에서의 비밀유지-유용성 트레이드오프를 이해하기 위한 통합 프레임워크를 제공하는 것.

제안 방법

• 모든 데이터 포인트를 제외한 하나를 제외한 나머지 데이터를 알고 있는 적대적 모델을 제안하며, 이를 통해 누락된 데이터 포인트를 추론하려는 시도를 한다.
• 다양한 형식으로 비밀유지를 정의: 차별적 비밀유지(DP), 약간의 DP, 더 강력한 DP 변형, 테스트 기반 정의.
• 집중 불등식과 사영 추론을 사용하여 추정 문제에 대한 최대위험 하한을 도출하며, 특히 d차원 평균 추정에 초점을 맞춘다.
• 비밀유지를 달성하면서 통계적 위험을 최소화하기 위해 노이즈 편향이 가미된 절단 평균 추정기 도입.
• 편향-분산 분해를 사용하여 평균 제곱오차를 근사하며, 모멘트 가정과 절단 임계값을 통합한다.
• 다양한 비밀유지 정의(예: KL, 차별적, 약간의 차별적) 하에서 절단 수준과 노이즈 분산에 대해 최적화하여 비밀유지-유용성 트레이드오프를 분석한다.

실험 결과

연구 질문

• RQ1 차별적 비밀유지와 테스트 기반 정의와 같은 다양한 비밀유지 형식화가 통계적 함의 측면에서 어떻게 상호 관련되어 있는가?
• RQ2 다양한 비밀유지 제약 조건 하에서 d차원 분포의 평균을 추정할 때의 최대위험 하한은 무엇인가?
• RQ3 기본 분포의 모멘트 수가 비밀유지 추정에서 최대위험에 어떤 영향을 미치는가?
• RQ4 다양한 비밀유지 정의에서 최적 추정 오차의 차원 d와 비밀유지 파라미터(예: α, δ)에 대한 의존성은 어떻게 되는가?
• RQ5 비밀유지 추정기는 최대위험 최적성을 달성할 수 있으며, 다양한 형식화 간에 그 수렴 속도는 어떻게 비교되는가?

주요 결과

• 다양한 비밀유지 정의 하에서 d차원 평균 추정의 최대위험 제곱오차는 분포의 모멘트 수 k에 대해 유사한 渐近적 의존성을 보인다.
• α-KL 비밀유지의 경우, 최대위험은 O(r²/n + r²(d/(n²α_KL))^{(k-1)/k})로 유계이며, 표본 크기, 비밀유지 수준, 모멘트 가정 간의 트레이드오프를 보여준다.
• (α,δ)-약간의 차별적 비밀유지 하에서는 위험 하한이 O(r²/n + r²(d log(1/δ)/(n²α²))^{(k-1)/k})로 표현되며, δ에 대해 로그적 페널티가 있음을 시사한다.
• Laplace 노이즈를 사용한 α-차별적 비밀유지의 경우, 위험은 O(r²/n + r²(d²/n²α²)^{1/k})로 스케일되며, 다른 정의에 비해 차원 d²에 더 강한 의존성을 보인다.
• 비밀유지 정의의 선택은 최대위험의 차원 의존성에 영향을 미치며, 일부 정의는 보안이 약화지더라도 더 나은 스케일링을 제공한다.
• 적절하게 스케일된 노이즈를 가진 제안된 절단 평균 추정기는 모든 고려된 비밀유지 정의 하에서 최대위험 최적성을 달성하며, 편향-분산 분해와 집중 불등식을 통해 명시적인 위험 하한이 도출된다.