[논문 리뷰] Locally Private Gaussian Estimation

Matthew Joseph, Janardhan Kulkarni외 2명|arXiv (Cornell University)|2018. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 17

한 줄 요약

이 논문은 알려진 분산과 알려지지 않은 분산 설정에서 가우시안 분포의 평균을 추정하기 위한 최적의 국소적 미분적 비밀유지 프로토콜을 제시한다. 적응형 2라운드 및 비적응형 1라운드 알고리즘을 도입하여 정보 이론적 하한선에 로그 인자까지 정확히 일치하는 날카운 오차 한계를 달성하며, 이는 국소적 비밀유지가 이 기본 추정 과제에서 글로벌 비밀유지 대비 √n 정도의 정확도 손실을 초래한다는 것을 입증한다.

ABSTRACT

We study a basic private estimation problem: each of $n$ users draws a single i.i.d. sample from an unknown Gaussian distribution, and the goal is to estimate the mean of this Gaussian distribution while satisfying local differential privacy for each user. Informally, local differential privacy requires that each data point is individually and independently privatized before it is passed to a learning algorithm. Locally private Gaussian estimation is therefore difficult because the data domain is unbounded: users may draw arbitrarily different inputs, but local differential privacy nonetheless mandates that different users have (worst-case) similar privatized output distributions. We provide both adaptive two-round solutions and nonadaptive one-round solutions for locally private Gaussian estimation. We then partially match these upper bounds with an information-theoretic lower bound. This lower bound shows that our accuracy guarantees are tight up to logarithmic factors for all sequentially interactive $(\varepsilon,δ)$-locally private protocols.

연구 동기 및 목표

• 각 사용자의 데이터가 전송 이전에 비밀유지되는 국소적 미분적 비밀유지 하에서 가우시안 분포의 평균을 사전에 비밀리에 추정하는 기본 문제를 다루기.
• 지연과 라이브니스 제약으로 인해 순차적 상호작용이 비용이 많이 드는 현실 시스템에서 최소한의 상호작용 횟수를 갖는 효율적인 프로토콜 설계.
• 알려진 분산과 알려지지 않은 분산 케이스 모두에 대해 정보 이론적 하한선에 로그 인자까지 정확히 일치하는 정밀한 정확도 보장을 제공하기.
• 국소적 비밀유지 프로토콜이 가우시안 평균을 추정할 때 Ω(σ/(ε√n))보다 나은 오차를 달성할 수 없음을 보여주는 강력한 하한선을 수립하기.
• 강력한 데이터 처리 부등식과 KL 발산 도구를 사용하여 하한선을 완전히 상호작용 가능한 프로토콜로 확장하기.

제안 방법

• (ε,0)-국소적 미분적 비밀유지 하에서 국소적 비밀유지 가우시안 평균 추정을 위한 적응형 2라운드 프로토콜과 비적응형 1라운드 프로토콜을 제안한다.
• 데이터의 척도에 따라 적응하는 새로운 비밀유지 메커니즘을 사용하여 악성 노이즈 가정을 피하고 가우시안 구조를 활용한다.
• 하나의 가설 검정 문제로의 감소를 통한 하한선 유도를 위한 테스트 기반 감소 기법을 사용한다.
• Pinsker의 부등식과 KL 발산을 적용하여 통계적 거리와 비밀유지 제약 조건을 연결하고, 정밀한 하한선 분석을 가능하게 한다.
• 정보 이론에서의 강력한 데이터 처리 부등식을 활용하여 국소적 비밀유지 하에서 추정 정확도의 기본 한계를 유도한다.
• 최근 Joseph 등 [18]의 결과를 활용하여 하한선을 완전히 상호작용 가능한 프로토콜로 확장하며, 동일한 Ω(σ/(ε√n)) 오차가 피할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 국소적 비밀유지 가우시안 평균 추정에서 비밀유지, 정확도, 라운드 복잡도 간의 최적의 트레이드오프는 무엇인가?
• RQ2 분산이 알려져 있거나 유한한 경우, 1라운드 비상호작용 프로토콜이 국소적 비밀유지 가우시안 평균 추정에서 거의 최적의 정확도를 달성할 수 있는가?
• RQ3 국소적 미분적 비밀유지가 가우시안 평균 추정에서 글로벌 비밀유지 대비 표본 복잡도와 추정 오차에 어떤 영향을 미치는가?
• RQ4 국소적 비밀유지 프로토콜 하에서 가우시안 분포에 대한 추정 정확도의 기본 정보 이론적 한계는 무엇인가?
• RQ5 순차적 상호작용 프로토콜에 대한 하한선을 완전히 상호작용 가능한 프로토콜로 확장할 수 있는가?

주요 결과

• 분산 σ가 알려진 경우, 2라운드 프로토콜은 확률 1−β에서 오차 O(σ/ε √(log(1/β)/n))를 달성하며, 로그 인자까지 정보 이론적 하한선에 정확히 일치한다.
• 1라운드 프로토콜은 확률 1−β에서 오차 O(σ/ε √(log(1/β)√log(n)/n))를 달성하며, 비상호작용 설계로 인한 작은 비용이 있음을 보여준다.
• 분산이 알려지지 않았지만 [σ_min, σ_max] 범위에 국한된 경우, 2라운드 프로토콜은 높은 확률에서 오차 O(σ/ε √(log(1/β)log(n)/n))를 달성한다.
• 분산이 알려지지 않은 경우 1라운드 프로토콜은 오차 O(σ/ε √(log(σ_max/σ_min + 1) log(1/β) log^{3/2}(n)/n))를 달성하며, 척도에 대한 불확실성을 반영한다.
• 정밀한 하한선을 통해 (ε,δ)-국소적 비밀유지 프로토콜이 가우시안 평균을 추정할 때 Ω(σ/(ε√n))보다 나은 오차를 달성할 수 없음을 입증한다. 이는 완전히 상호작용 가능한 통신 조건에서도 마찬가지다.
• 하한선은 완전히 상호작용 가능한 프로토콜로까지 확장되며, 국소적 비밀유지에서 √n 정확도 손실이 이 문제에 대해 피할 수 없다는 것을 확인한다.