[논문 리뷰] Lower Bounds for Locally Private Estimation via Communication Complexity

John C. Duchi, Ryan Rogers|arXiv (Cornell University)|2019. 02. 01.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 30

한 줄 요약

이 논문은 통신 복잡도로 문제를 환원하여 국소적 비밀유지 추정의 날카운 최소상한을 확립한다. 이로써 $\varepsilon$-국소적 비밀유지 하에서 효과적인 표본 크기가 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ 비례함을 보여준다. 이는 근사, 레니, 집중된 차별적 비밀유지와 같은 모든 비밀유지 수준에 대해 날카로운 경계를 제공하며, $d$-차원 평균 추정의 최소제곱오차가 $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ 비례함을 보여준다. 이 프레임워크는 임의의 상호작용 프rotocol에 적용 가능하며, $\varepsilon \gg 1$ 인 고차원 설정에도 적합하다. 핵심 통찰은 비밀유지 제약 조건이 정보 전송을 감소시키며, 이는 직접적으로 통신 제한된 추정 경계로 연결된다는 것이다.

ABSTRACT

We develop lower bounds for estimation under local privacy constraints---including differential privacy and its relaxations to approximate or Rényi differential privacy---by showing an equivalence between private estimation and communication-restricted estimation problems. Our results apply to arbitrarily interactive privacy mechanisms, and they also give sharp lower bounds for all levels of differential privacy protections, that is, privacy mechanisms with privacy levels $\varepsilon \in [0, \infty)$. As a particular consequence of our results, we show that the minimax mean-squared error for estimating the mean of a bounded or Gaussian random vector in $d$ dimensions scales as $\frac{d}{n} \cdot \frac{d}{ \min\{\varepsilon, \varepsilon^2\}}$.

연구 동기 및 목표

• 모든 비밀유지 수준, 특히 $\varepsilon \gg 1$ 인 경우를 포함하여, 임의의 상호작용 프로토콜 하에서 국소적 비밀유지 추정에 대한 일반적인 하한이 부족한 문제를 해결하기 위해.
• 비적응 메커니즘 또는 고비밀유지 영역($\varepsilon \leq 1$)에만 적용되는 기존 이론의 격차를 메우기 위해.
• 근사, 레니, 집중된 차별적 비밀유지와 같은 비밀유지의 완화 버전들 간의 결과를 통합하고 확장하기 위해.
• 국소적 비밀유지를 통신 제한된 추정으로 매핑하는 프레임워크를 수립하여, 기존의 통신 복잡도 하한을 이행할 수 있도록 하기 위해.

제안 방법

• 비밀유지 제약 조건을 데이터 전송의 정보 제한으로 동일시하여 국소적 비밀유지 추정 문제를 통신 복잡도 문제로 환원한다.
• 분산 추정에서 알려진 최소상한(예: Zhang 등, 2013; Braverman 등, 2016)을 비밀유지 프로토콜에 적용한다.
• 정보 이론적 추론을 사용하여 $\varepsilon$-국소적 비밀유지 하에서 효과적인 표본 크기를 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ 로 경계한다.
• 측정 가능한 쌍화를 사용하여 차별적 비밀유지를 만족하면서도 통계적 정밀도를 유지하는 정규 조건부 분포를 구성한다.
• 비밀유지 보장의 비율 조건 $|\log(q_0(z|x;x',w)/q_0(z|x';x,w))| \leq \varepsilon$ 를 활용하여 비밀유지를 확보하면서도 총 변동 거리의 경계를 설정한다.
• 홉핑의 부등식과 테일러 전개를 적용하여 비밀유지 제약 조건 하에서 정규 분포 평균 추정의 오차를 경계한다.

실험 결과

연구 질문

• RQ1 임의의 상호작용 프로토콜과 모든 비밀유지 수준 $\varepsilon \in [0, \infty)$ 에서 국소적 차별적 비밀유지 하에서 추정의 기본 한계는 무엇인가?
• RQ2 국소적 비밀유지 평균 추정에서 최소제곱오차는 차원 $d$, 표본 크기 $n$, 비밀유지 매개변수 $\varepsilon$ 에 따라 어떻게 스케일링되는가?
• RQ3 통신 복잡도 하한을 적응하여 국소적 비밀유지 추정에 대해 날카로운 최소상한을 유도할 수 있는가?
• RQ4 레니 또는 근사 차별적 비밀유지와 같은 비밀유지 완화가 효과적인 표본 크기와 추정 오차에 어떤 영향을 미치는가?
• RQ5 적응성과 상호작용은 국소적 비밀유지 프로토콜에서 어떤 역할을 하며, 추정 효율성에 어떤 영향을 미치는가?

주요 결과

• 유계 또는 정규 분포를 따르는 $d$-차원 랜덤 벡터의 평균을 추정할 때 최소제곱오차는 $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ 비례하며, 이는 모든 $\varepsilon \in [0, \infty)$ 에 대해 날카로운 경계이다.
• $\varepsilon \gg 1$ 인 경우, $\varepsilon$-국소적 비밀유지 하에서 효과적인 표본 크기는 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ 이며, 이는 비밀유지 강화 효과가 스케일링에 반영됨을 보여준다.
• 이 프레임워크는 근사, 레니, 집중된 차별적 비밀유지와 같은 모든 형태의 차별적 비밀유지에 적용 가능하며, 비밀유지 매개변수에 대한 제한이 없다.
• 임의의 상호작용적 및 적응형 비밀유지 메커니즘에 대해서도 결과가 성립하며, 이는 이전 연구에서 비적응 기법에 국한된 제약을 극복한다.
• 분석 결과, 추정 오차는 비밀유지를 만족하는 데 필요한 정보 이론적 비용에 의해 본질적으로 제한되며, 이는 직접적으로 통신 복잡도 제약 조건으로 연결된다.
• 1차원 정규 분포 평균 추정의 경우 유도된 하한은 알려진 결과와 일치하지만, 임의의 $\varepsilon$ 와 고차원으로까지 확장된다.