[논문 리뷰] Privately Learning High-Dimensional Distributions

Gautam Kamath, Jerry Li외 2명|arXiv (Cornell University)|2018. 05. 01.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 30

한 줄 요약

이 논문은 총변동 거리에서 고차원 분포—특히 다변량 정규분포와 부울 초입체 위의 곱분포—를 학습하기 위한 계산적으로 효율적인 비밀보장 알고리즘을 제시한다. 주요 기여는 매개변수에 대한 강력한 사전 경계가 필요 없도록 하는 새로운 기법인 재귀적 비밀보장 조정법을 도입한 것으로, 이는 광범위한 매개변수 범위에서 비밀보장 최적 학습기의 샘플 복잡도에 거의 근접하는 결과를 달성한다.

ABSTRACT

We present novel, computationally efficient, and differentially private algorithms for two fundamental high-dimensional learning problems: learning a multivariate Gaussian and learning a product distribution over the Boolean hypercube in total variation distance. The sample complexity of our algorithms nearly matches the sample complexity of the optimal non-private learners for these tasks in a wide range of parameters, showing that privacy comes essentially for free for these problems. In particular, in contrast to previous approaches, our algorithm for learning Gaussians does not require strong a priori bounds on the range of the parameters. Our algorithms introduce a novel technical approach to reducing the sensitivity of the estimation procedure that we call recursive private preconditioning.

연구 동기 및 목표

• 평균과 공분산 등의 매개변수에 대한 강력한 사전 경계가 필요 없도록, 고차원 분포를 비밀보장적으로 학습하는 데 도전하는 것.
• 다변량 정규분포와 부울 초입체 위의 곱분포를 추정하기 위한 계산적으로 효율적인 비밀보장 알고리즘을 개발하는 것.
• 비밀보장 최적 학습기의 샘플 복잡도에 거의 근접하는 샘플 복잡도를 달성하여, 이 설정에서 비밀보장이 거의 비용이 들지 않음을 보여주는 것.
• 이전 방법들이 매개변수 범위에 다항적 의존성 또는 고차원에서 지수적 실행 시간을 가지는 등의 한계를 극복하는 것.

제안 방법

• 추정 절차의 민감도를 줄이기 위해 반복적으로 공분산 행렬의 조건수를 향상시키는 새로운 기법인 재귀적 비밀보장 조정법을 도입한다.
• 이 조정법을 다변량 정규분포의 평균과 공분산 추정에 적용하여, 매개변수 경계에 대한 사전 지식이 없이도 비밀보장 학습이 가능하도록 한다.
• 초입체를 분할하고 각 분할에서 비밀보장 추정을 적용하는 비밀보장 곱분포 추정기 설계를 통해 오차 누적을 제어하는 재귀 전략을 사용한다.
• 약한 가정 하에 비밀보장성과 정확도 보장을 증명하기 위해 농도 불등식과 결합 원리(_coupling arguments_)를 활용한다.
• 특히 고차원 추정의 맥락에서 비밀보장 손실을 제한하기 위해 모멘트 생성 함수와 이항 결합 기법을 분석에 사용한다.
• 비밀보장 추정과 매개변수 불확실성에 대한 강건성을 결합하기 위해 재귀적으로 정밀 조정기를 개선함으로써, 각 단계에서 민감도를 감소시킨다.

실험 결과

연구 질문

• RQ1 고차원 분포 학습을 위한 비밀보장 알고리즘이 비밀보장 최적 학습기의 샘플 복잡도에 거의 근접할 수 있는가?
• RQ2 평균과 공분산에 대한 강력한 사전 경계가 필요 없이 다변량 정규분포 추정에 비밀보장을 달성할 수 있는가?
• RQ3 계산 효율성과 비밀보장성을 유지하면서 고차원 추정의 민감도를 낮추는 데 사용할 수 있는 기법은 무엇인가?
• RQ4 부울 초입체 위의 곱분포에 대한 비밀보장 학습이 비밀보장이 아닌 방법과 비슷한 정확도를 달성할 수 있는가?
• RQ5 고차원에서의 비밀보장 분포 추정의 기본 한계는 무엇이며, 제안된 알고리즘과 비교해보면 어떻게 되는가?

주요 결과

• 제안된 다변량 정규분포 학습 알고리즘은 평균과 공분산에 대한 강력한 사전 경계가 없더라도, 비밀보장 최적 학습기의 샘플 복잡도에 거의 근접한다.
• 재귀적 비밀보장 조정법을 통해 샘플 복잡도가 $ O(d^2 / ilde{ u}^2) $로 스케일링되는 고차원 정규분포 추정이 가능하며, 여기서 $ ilde{ u} $ 는 총변동 거리에서의 원하는 정확도이다.
• 부울 초입체 위의 곱분포에 대해서는 비밀보장 학습이 이루어지며, 샘플 복잡도가 비밀보장 최적 기준에 로그 인자까지 포함하여 일치한다.
• 분석 결과 비밀보장성 확보에 샘플 복잡도가 약간 증가할 뿐이며, 이는 이 설정에서 비밀보장이 '기본적으로 무료'임을 보여준다.
• 하한값 분석을 통해 제안된 알고리즘의 샘플 복잡도가 이론적 한계에 거의 근접함을 확인하였으며, 이는 로그 인자까지 포함하여 이론적 한계를 충족한다.
• 재귀적 비밀보장 조정법은 일반화 가능하며, 정규분포와 곱분포를 초월한 고차원 비밀보장 추정의 새로운 프레임워크를 제공한다.