[논문 리뷰] Private and polynomial time algorithms for learning Gaussians and beyond

Hassan Ashtiani, Christopher Liaw|arXiv (Cornell University)|2021. 11. 22.

Machine Learning and Algorithms참고 문헌 34인용 수 4

한 줄 요약

이 논문은 비민감 통계 추정 알고리즘을 비밀보장된 다항시간 방법으로 변환하는 일반적인 프레임워크를 제안한다. 이는 R^d 내에서 비민감한 다변수 정규분포의 학습에 대해 최적의 표본 복잡도를 달성하며, 기존에 알려진 이론적 한계에 비례하는 로그 인자까지 일치시키며, 표본 복잡도 Õ(d^{3.5})를 갖는 최초의 효율적인 비민감 강건 학습 알고리즘을 제공한다.

ABSTRACT

We present a fairly general framework for reducing $(\varepsilon, δ)$ differentially private (DP) statistical estimation to its non-private counterpart. As the main application of this framework, we give a polynomial time and $(\varepsilon,δ)$-DP algorithm for learning (unrestricted) Gaussian distributions in $\mathbb{R}^d$. The sample complexity of our approach for learning the Gaussian up to total variation distance $α$ is $\widetilde{O}(d^2/α^2 + d^2\sqrt{\ln(1/δ)}/α\varepsilon + d\ln(1/δ) / α\varepsilon)$ matching (up to logarithmic factors) the best known information-theoretic (non-efficient) sample complexity upper bound due to Aden-Ali, Ashtiani, and Kamath (ALT'21). In an independent work, Kamath, Mouzakis, Singhal, Steinke, and Ullman (arXiv:2111.04609) proved a similar result using a different approach and with $O(d^{5/2})$ sample complexity dependence on $d$. As another application of our framework, we provide the first polynomial time $(\varepsilon, δ)$-DP algorithm for robust learning of (unrestricted) Gaussians with sample complexity $\widetilde{O}(d^{3.5})$. In another independent work, Kothari, Manurangsi, and Velingker (arXiv:2112.03548) also provided a polynomial time $(\varepsilon, δ)$-DP algorithm for robust learning of Gaussians with sample complexity $\widetilde{O}(d^8)$.

연구 동기 및 목표

• 비민감 통계 추정기에서 비밀보장된 다항시간 알고리즘으로 변환하는 일반적인 방법을 개발하는 것.
• (ε,δ)-비밀보장에 대한 비민감한 다변수 정규분포의 효율적 학습이라는 열린 문제를 해결하는 것.
• 일부 샘플이 임의로 손상된 경우에도 비민감한 다항시간 강건 정규분포 학습 알고리즘을 제공하는 것.
• 비민감 정규분포 학습에 대해 알려진 최고의 정보이론적 표본 복잡도 한계에 최대한 가까이 맞추며, 로그 인자까지 일치시키는 것.

제안 방법

• 모든 비민감 통계 추정기에서 (ε,δ)-비밀보장 알고리즘으로 변환하는 일반적인 감소 기법을 도입하며, 다항시간 런타임을 확보한다.
• 마스킹 메커니즘을 통한 노이즈 주입과 함께 비민감 강건 평균 추정기(QUEScoreFilter)를 사용하여 비민감 평균 추정을 적용한다.
• 로컬로 작은 커버를 갖는 비민감 가설 선택 방법에 기반한 비민감 공분산 추정 알고리즘을 사용한다.
• 비민감 평균 및 공분산 추정을 조합하여 다변수 정규분포 학습을 위한 완전한 비민감 알고리즘을 구축한다.
• 집중 및 비밀보장 강화 기법을 활용하여 약한 비밀보장에서 비밀보장과 유틸리티 보장을 동시에 확보한다.
• 두 단계 접근법을 활용: 먼저 비밀보장 제약 조건 하에서 평균을 강건하게 추정하고, 그 다음 신중하게 구성된 커버를 갖는 비민감 가설 선택 메커니즘을 사용하여 공분산을 추정한다.

실험 결과

연구 질문

• RQ1 비민감 통계 추정기에서 비밀보장된 다항시간 알고리즘으로 변환하는 일반적인 프레임워크를 설계할 수 있는가?
• RQ2 비민감한 다변수 정규분포의 학습에 대해 효율적인 알고리즘으로 최적의 표본 복잡도를 달성할 수 있는가?
• RQ3 데이터가 오염된 상황에서 (ε,δ)-비밀보장 하에 비민감 강건 정규분포 학습을 효율적으로 달성할 수 있는가?
• RQ4 비민감 효율적 다변수 정규분포 학습의 가장 날카로운 표본 복잡도는 무엇이며, 비민감 기준에 비례하는 로그 인자까지 일치시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 R^d 내 비민감 정규분포 학습에 대해 (ε,δ)-DP 알고리즘을 도출하며, 표본 복잡도 Õ(d²/α² + d²√(ln(1/δ))/(αε) + d ln(1/δ)/(αε))를 갖는다. 이는 알려진 최고의 비민감 표본 복잡도에 비례하는 로그 인자까지 일치한다.
• 알고리즘은 d, 1/α, 1/ε, log(1/δ)에 대해 다항시간으로 실행되어 고차원 정규분포에 대해 효율적인 계산을 달성한다.
• 표본 복잡도 Õ(d^{3.5})를 갖는 최초의 다항시간, (ε,δ)-DP 강건 정규분포 학습 알고리즘이 달성되었으며, 이는 이전 작업의 Õ(d^8) 의존성에 비해 크게 향상되었다.
• 이 프레임워크를 통해 비민감 강건 평균 추정이 가능하며, 오차는 O(α√(log(1/α))) 이며, (2ε, 4e^εδ)-DP 하에서 비민감 강건 평균 추정기와 노이즈 주입을 사용한다.
• 강건 공분산 추정 구성 요소는 동일한 비밀보장 예산 하에서 유틸리티 보장을 달성하며, 전체 비민감 정규분포 학습 파이프라인의 핵심을 이룬다.
• 강건 학습 알고리즘의 표본 복잡도는 주로 공분산 추정 단계에 의해 지배되며, 향후 최적화의 잠재적 대상으로 식별된다.