[논문 리뷰] On the Sample Complexity of Privately Learning Unbounded High-Dimensional Gaussians.

Ishaq Aden-Ali, Hassan Ashtiani외 1명|arXiv (Cornell University)|2020. 01. 01.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 매개변수 제약 없이 약한 차별적 비밀유지 하에서 고차원 다변량 정규분포를 사전적으로 학습하는 데 있어, 처음으로 유한 표본 복잡도 상한을 확립한다. 새로운 분석 도구를 도입하여 국소적인 커버를 바탕으로 전역적인 국소적으로 작은 커버를 구성하고, 수정된 차별적 비밀 유지 가설 선택 기법을 활용함으로써, 정규분포의 정규화 공분산 경우에서 거의 최적의 표본 복잡도를 달성하고 일반적인 경우에 대해 거의 최적임을 추측한다.

ABSTRACT

We provide sample complexity upper bounds for agnostically learning multivariate Gaussians under the constraint of approximate differential privacy. These are the first finite sample upper bounds for general Gaussians which do not impose restrictions on the parameters of the distribution. Our bounds are near-optimal in the case when the covariance is known to be the identity, and conjectured to be near-optimal in the general case. From a technical standpoint, we provide analytic tools for arguing the existence of global locally small covers from local covers of the space. These are exploited using modifications of recent techniques for differentially private hypothesis selection. Our techniques may prove useful for privately learning other distribution classes which do not possess a finite cover.

연구 동기 및 목표

• 약한 차별적 비밀유지 하에서 다변량 정규분포를 사전적으로 학습하는 데 있어 표본 복잡도 상한의 격차를 메우기 위해.
• 고차원 공간에서 국소 커버로부터 전역적으로 국소적으로 작은 커버를 구성하는 일반적인 기법을 개발하기 위해.
• 평균 또는 공분산 매개변수에 제약을 두지 않고 정규분포의 사전적 학습을 가능하게 하기 위해.
• 최근의 차별적 비밀 유지 가설 선택 방법을 유계가 아니며 고차원인 분포를 다룰 수 있도록 확장하기 위해.
• 유한한 커버가 없는 다른 분포 클래스에도 적용 가능한 이론적 기반을 제공하기 위해.

제안 방법

• 매개변수 공간의 국소 커버로부터 전역적으로 국소적으로 작은 커버를 유도하기 위한 분석 도구를 개발하였다.
• 최근의 차별적 비밀 유지 가설 선택 프레임워크를 수정하여 무한대에 이르지 않는 정규분포를 수용하도록 하였다.
• 국소 커버링을 사용하여 가설 클래스의 복잡도를 제어하면서도 개인정보 보호를 유지하였다.
• 기하학적 커버링 성질과 고차원에서의 개인정보-유용성 트레이드오프 간의 연결 고리를 설정하였다.
• 사전적 학습을 전역적으로 작은, 국소적으로 유계인 커버를 구성하는 문제로 환원하는 것을 정형화하였다.
• 고차원 정규분포의 농도 및 반농도 성질을 활용하여 필요한 표본 수의 상한을 구하였다.

실험 결과

연구 질문

• RQ1 평균 또는 공분산에 제약이 없을 경우, 고차원 정규분포를 사전적으로 학습하는 데 있어 최적의 표본 복잡도는 무엇인가?
• RQ2 사생활 보호 제약 하에서 고차원 매개변수 공간에서 국소 커버로부터 전역적으로 작은 커버를 어떻게 구성할 수 있는가?
• RQ3 차별적 비밀 유지 가설 선택은 무한대이거나 고차원인 분포, 예를 들어 다변량 정규분포로 확장될 수 있는가?
• RQ4 매개변수 공간의 구조와 사전적 학습에서의 표본 복잡도 사이의 관계는 무엇인가?
• RQ5 정규화 공분산의 경우 제안된 상한은 거의 최적이며, 일반 공분산 행렬로 확장될 수 있는가?

주요 결과

• 이 논문은 매개변수 제약 없이 일반적인 다변량 정규분포를 사전적으로 학습하는 데 있어 처음으로 유한 표본 복잡도 상한을 제공한다.
• 정규화 공분산의 경우 제안된 상한은 거의 최적이며, 알려진 하한과 로그 인자 이내로 일치한다.
• 저자들은 일반적인 공분산 행렬의 경우에도 이 상한이 거의 최적일 것이라 추측한다.
• 국소 커버로부터 전역적으로 국소적으로 작은 커버를 구성하는 데 사용된 기법은 일반적이며, 유한한 커버가 없는 다른 분포 클래스로도 확장될 수 있다.
• 기하학적 및 확률적 성질을 활용하여 수정된 사전적 가설 선택 프레임워크는 무한대이거나 고차원인 분포를 성공적으로 처리하였다.
• 결과적으로, 유한한 커버가 없는 분포 클래스를 초월하여 연속적이고 고차원적인 분포에 대한 사전적 학습을 위한 새로운 이론적 기반을 구축하였다.