[논문 리뷰] Local Privacy and Minimax Bounds: Sharp Rates for Probability Estimation

John C. Duchi, Michael I. Jordan외 1명|arXiv (Cornell University)|2013. 05. 26.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 98

한 줄 요약

이 논문은 국소적 차별적 프라이버시 하에서 확률 추정에 대해 날카운 최소최대 수렴 속도를 확립하며, 프라이버시 제약이 다항분포 추정에서 표본 크기를 $ n $ 에서 $ n\alpha^2/d $ 으로 줄이고, 밀도 추정에선 추가 비용을 초래함을 보여준다. 또한, 국소적 프라이버시 하에서 설문 조사 샘플링에 대해 워너의 랜덤화된 응답이 최적임을 증명하며, 고전적 프라이버시 이론과 현대 최소최대 결정 이론을 통합한다.

ABSTRACT

We provide a detailed study of the estimation of probability distributions---discrete and continuous---in a stringent setting in which data is kept private even from the statistician. We give sharp minimax rates of convergence for estimation in these locally private settings, exhibiting fundamental tradeoffs between privacy and convergence rate, as well as providing tools to allow movement along the privacy-statistical efficiency continuum. One of the consequences of our results is that Warner's classical work on randomized response is an optimal way to perform survey sampling while maintaining privacy of the respondents.

연구 동기 및 목표

• 국소적 차별적 프라이버시 하에서 확률 추정의 프라이버시와 통계적 효율성 간의 상호작용을 형식화한다.
• 국소적 프라이버시 제약 하에서 추정의 최소최대 하한을 날카롭게 제공하여 수렴 속도에 미치는 영향을 정량화한다.
• 국소적 프라이버시 하에서 설문 조사 샘플링에 대해 워너의 랜덤화된 응답이 최소최대 최적임을 입증한다.
• 비모수적 밀도 추정으로 분석을 확장하여 국소적 프라이버시 하에서 해당 최소최대 비율을 설정한다.
• 고전적 프라이버시(예: 워너)를 현대적 차별적 프라이버시 및 최소최대 결정 이론과 통합하여 통계적 추론을 위한 기반을 마련한다.

제안 방법

• 각 개인의 데이터가 $ \sup \frac{Q(S|x)}{Q(S|x')} \leq e^{\alpha} $ 를 만족하는 채널을 통해 프라이버시 보장을 받는 국소적 차별적 프라이버시의 형식적 프레임워크를 사용한다.
• 국소적 프라이버시 하에서 추정 위험의 하한을 도출하기 위해 분포 집합 위에서 포장 기반을 적용한 최소최대 결정 이론을 적용한다.
• 최적의 스코어 함수 $ \gamma $ 가 구간 $ D_i $ 에서 일정해야 하므로, 문제를 유한차원 최적화로 단순화함을 보여 유한차원 근사화된 정보 한계를 구성한다.
• 크로네커 곱의 구조를 활용하여 벡터화된 파라미터에 기반한 피셔 정보를 분석하고, 연산자 단조성과 스펙트럼 한계를 활용한다.
• 정밀하게 구성된 밀도 가족 $ f_\nu $ 와 $ g_\beta $ 를 사용하여 상호정보량 $ I(Z_1,\ldots,Z_n;V) $ 에 대한 날카로운 하한을 도출할 수 있는 통계적 포장 구조를 만든다.
• 상호정보량에 대한 상한을 유도한다: $ I(Z_1,\ldots,Z_n;V) \leq n \cdot c \cdot \alpha^2 / k^{2\beta+1} $, 이는 밀도 추정에 대해 날카운 최소최대 비율을 이끌어낸다.

실험 결과

연구 질문

• RQ1 국소적 차별적 프라이버시 하에서 다항분포 확률 추정의 프라이버시 수준 $ \alpha $ 와 추정 정확도 사이의 근본적 트레이드오프는 무엇인가?
• RQ2 워너의 랜덤화된 응답 절차는 프라이버시 보장 설문 조사 샘플링에 대해 최소최대 최적인가?
• RQ3 비모수적 밀도 추정에서 국소적 프라이버시는 최소최대 수렴 속도에 어떤 제약을 끼치는가?
• RQ4 상호정보량 및 피셔 정보와 같은 정보이론적 도구를 사용하여 국소적 프라이버시 하에서 최소최대 위험을 특성화할 수 있는가?
• RQ5 고차원 추정 문제에서 국소적 프라이버시로 인해 효과적 표본 크기가 얼마나 줄어드는가?

주요 결과

• d차원 다항분포 추정에서 $ \alpha $-국소적 프라이버시 하에서 효과적 표본 크기는 $ n\alpha^2/d $ 이며, 이는 $ \alpha $ 에 대해 제곱형 제약을 보여준다.
• 국소적 프라이버시 하에서 설문 조사 샘플링에 대해 워너의 랜덤화된 응답이 최소최대 최적임을 입증하며, 이는 50년이 넘은 기술임에도 불구하고 그 최적성은 확인된다.
• 비모수적 밀도 추정에서 H\" (이하 생략됨)