[논문 리뷰] Efficient, Differentially Private Point Estimators

Adam Smith|ArXiv.org|2008. 09. 27.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 63

한 줄 요약

이 논문은 블록별 최대우도추정(MLE) 추정과 라플라스 노이즈 주입을 조합하여 점근적 효율성과 비편향성을 확보하는 차별적(private) 점추정기를 제안한다. 주요 결과는 표본 크기가 증가함에 따라 추정기의 평균제곱오차가 크래머-라오 하한(Cramér-Rao lower bound)으로 수렴한다는 것이다. 이는 차별적 개인정보보호가 통계적 정확도에 점차 소멸하는 비용으로 달성될 수 있음을 보여준다.

ABSTRACT

Differential privacy is a recent notion of privacy for statistical databases that provides rigorous, meaningful confidentiality guarantees, even in the presence of an attacker with access to arbitrary side information. We show that for a large class of parametric probability models, one can construct a differentially private estimator whose distribution converges to that of the maximum likelihood estimator. In particular, it is efficient and asymptotically unbiased. This result provides (further) compelling evidence that rigorous notions of privacy in statistical databases can be consistent with statistically valid inference.

연구 동기 및 목표

• 비모수적 모형에서 통계적 효율성과 점근적 비편향성을 유지하는 차별적 개인정보보호 추정기를 개발하는 것.
• 표본 크기가 증가함에 따라 추정 정확도에 거의 영향을 주지 않는 차별적 개인정보보호를 달성할 수 있음을 보여주는 것.
• 민감한 데이터 분석에서 엄격한 개인정보보호 보장과 통계적으로 타당한 추론 사이의 격차를 메우는 것.
• 분포상으로 최대우도추정기로 수렴하는 차별적 개인정보보호 추정기를 구성하는 실용적 방법을 제공하는 것.

제안 방법

• 데이터셋을 크기 t = n/k인 k개의 겹치지 않는 블록으로 분할한다.
• 각 블록에 대해 최대우도추정기(MLE)를 계산하여 z₁, ..., zₖ의 k개 추정치를 도출한다.
• 블록 추정치를 평균내어 z̄ = (1/k)∑zᵢ를 계산하며, 이는 진짜 매개변수 θ의 일致한 추정기이다.
• ε-차별적 개인정보보호를 확보하기 위해 평균 z̄에 척도 Λ/(kε)인 라플라스 노이즈를 추가한다. 여기서 Λ는 매개변수 공간의 지름이다.
• 최종 추정기 T* = z̄ + Lap(Λ/(kε))는 블록 평균 MLE의 민감도 분석을 통해 ε-차별적 개인정보보호임을 입증한다.
• 편향, 분산, 노이즈 기여를 균형 잡기 위해 k = ⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉로 선택하여 점근적 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 차별적 개인정보보호 추정기가 점근적으로 최대우도추정기의 분포로 수렴할 수 있는가?
• RQ2 차별적 개인정보보호(ε로 제어됨)와 비모수적 추정에서의 통계적 효율성 사이의 상호 교환 조건은 무엇인가?
• RQ3 개인정보보호를 위해 필요한 편향을 추정 오차 측면에서 점차 소멸시킬 수 있는가?
• RQ4 k와 ε에 어떤 조건이 성립할 경우 차별적 개인정보보호 추정기가 점근적으로 비편향적이고 효율적인가?

주요 결과

• 제안된 추정기 T*는 블록 평균 MLE의 민감도를 제한함으로써 임의의 k 값에 대해 ε-차별적 개인정보보호임이 입증된다.
• ε = ω(n⁻¹ᐟ⁶) 이고 k가 ⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉로 선택될 경우, 추정기는 평균제곱오차 (1+o(1))/(nI(θ))로 점근적 효율성을 확보한다.
• 추정기의 편향은 O((k/n)³ᐟ²)이며, k = o(n²ᐟ³)일 경우 점차 소멸하여 점근적 비편향성을 보장한다.
• 추정기의 분산은 (1+o(1))/(nI(θ)) + O(nΛ²/(k²ε²))이며, k = ω(√n/ε)일 경우 노이즈 기여가 무시할 수 있을 정도로 작아진다.
• n → ∞일 때 추정기의 상대오차는 1로 수렴하여, 주어진 조건 하에서 추정기가 점근적으로 효율적임을 확인한다.
• 결과는 차별적 개인정보보호와 통계적으로 타당한 추론이 악성 측면 정보가 존재하는 상황에서도 상호 보완 가능하다는 강력한 증거를 제공한다.