[논문 리뷰] Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates

John C. Duchi, Michael I. Jordan외 1명|arXiv (Cornell University)|2013. 02. 13.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 66

한 줄 요약

이 논문은 평균 추정, 회귀, 밀도 추정과 같은 정준 문제에 대해 국소 미분적 비밀유지 하에서의 기본적인 상충 관계를 규명하기 위해 엄밀한 최대위험 경계를 유도함으로써 국소 미분적 비밀유지와 통계적 추정 정확도 사이의 근본적 트레이드오프를 확립한다. 정보 이론적 부등식을 고려한 프라이버시 인식 기반의 새로운 접근법을 제안하고, 계산적으로 효율적인 최적의 메커니즘을 설계하여 이러한 경계를 상수 요인 이내로 달성한다.

ABSTRACT

Working under a model of privacy in which data remains private even from the statistician, we study the tradeoff between privacy guarantees and the utility of the resulting statistical estimators. We prove bounds on information-theoretic quantities, including mutual information and Kullback-Leibler divergence, that depend on the privacy guarantees. When combined with standard minimax techniques, including the Le Cam, Fano, and Assouad methods, these inequalities allow for a precise characterization of statistical rates under local privacy constraints. We provide a treatment of several canonical families of problems: mean estimation, parameter estimation in fixed-design regression, multinomial probability estimation, and nonparametric density estimation. For all of these families, we provide lower and upper bounds that match up to constant factors, and exhibit new (optimal) privacy-preserving mechanisms and computationally efficient estimators that achieve the bounds.

연구 동기 및 목표

• 데이터 제공자가 통계학자를 신뢰하지 않는 국소 미분적 비밀유지 하에서 통계적 추정의 근본적 한계를 규명하는 것.
• 프라이버시를 메커니즘을 넘어서 추정기의 제약 조건으로 간주함으로써, 차별적 비밀유지와 통계적 의사결정 이론을 연결하는 것.
• 다양한 정준 통계 문제에 걸쳐 최대위험 경계의 상하한 경계를 일치시켜 유도하는 것.
• 유도된 최대위험 속도에 도달하는 최적의 계산적으로 효율적인 프라이버시 보존 메커니즘과 추정기들을 설계하는 것.

제안 방법

• 프라이버시 매개변수 α에 의존하는 상호정보량과 칼룸비어-레이블리지 발산을 포함하는 정보 이론적 부등식을 유도한다.
• 국소 미분적 비밀유지 제약 조건을 고전적 최대위험 기법(레 카르의 방법, 파노의 방법, 아소드의 방법)에 통합한다.
• 프라이버티제화를 위한 상호작용형 및 비상호작용형 채널 모델을 분석하며, 후자는 표준 국소 비밀유지로 축소된다.
• 유도된 최대위험 하한 경계를 상수 요인 이내로 달성하는 새로운 프라이버시 보존 메커니즘과 추정기를 제안한다.
• 편향과 노름 한계를 통제하는 확률적 샘플링 전략을 사용하여 프라이버시와 유효성의 상충 관계를 보장한다.
• 점근적 분석과 스타링의 근사법을 적용하여 프라이버티 처리된 출력의 기대 노름에 대한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 국소 비밀유지 모델에서 프라이버시 보장 수준(α로 측정)과 통계적 추정 정확도 사이의 근본적 트레이드오프는 무엇인가?
• RQ2 국소 미분적 비밀유지 제약 조건 하에서 추정 문제의 최대위험 경계는 어떻게 변화하는가?
• RQ3 유도된 최대위험 하한 경계에 도달하는 최적의 프라이버시 보존 메커니즘과 추정기를 구성할 수 있는가?
• RQ4 국소 비밀유지는 비유계 매개변수 공간, 특히 최대위험 측면에서 어떤 영향을 미치는가?

주요 결과

• 평균 추정 문제에서, 논문은 상수 요인 이내로 일치하는 최대위험 경계를 확립하였으며, 최적의 메커니즘이 유도된 속도에 도달함을 보였다.
• 고정 설계 회귀 문제에서, 논문은 국소 비밀유지 하에서 최대위험에 대한 상하한 경계를 일치시켜 유도하였으며, 프라이버시로 인해 추정 속도가 α에 따라 영향을 받는 것으로 나타났다.
• 다항 확률 추정 문제에서, 논문은 최대위험 속도에 도달하는 최적의 프라이버시 보존 추정기를 구성하였으며, 프라이버시 매개변수 α에 명시적인 의존성을 보였다.
• 비모수 밀도 추정 문제에서, 논문은 최대위험 경계가 프라이버시 매개변수 α에 따라 스케일링됨을 보였고, 상하한 경계가 일치함을 보였다.
• 논문은 ℝ과 같은 비유계 매개변수 공간에서, 비공개 상태일지라도 유한한 n에 대해 국소 미분적 비밀유지 하에서 최대위험 경계가 무한대임을 입증하였다. 이는 비공개 상태의 최대위험 경계가 O(1/n)임에도 불구하고 성립한다.
• 최적의 메커니즘 설계는 제어된 노름을 갖는 ℓ₂-구내에서의 비편향 샘플링에 의존하며, 이는 프라이버시를 확보하면서도 통계적 효율성을 유지한다.