[논문 리뷰] Mutual Information Optimally Local Private Discrete Distribution Estimation

Shaowei Wang, Liusheng Huang외 6명|arXiv (Cornell University)|2016. 07. 27.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 67

한 줄 요약

이 논문은 이산 분포 추정을 위한 최적의 국소 미분적 비밀유지 메커니즘인 k-서브셋 메커니즘을 제안한다. 이 메커니즘은 비밀유지된 데이터와 그 정제된 시각 간의 상호정보량을 최대화하며, 데이터 도메인의 고정 크기 서브셋을 무작위로 출력함으로써 전체 비밀유지 영역(실용적인 수준인 log 2 ≤ ε ≤ log(d−1) 포함)에서 정확한 상호정보량 한계를 달성한다. 이는 특히 중간 비밀유지 영역에서 기존 방법들보다 유용성 면에서 뛰어나다.

ABSTRACT

Consider statistical learning (e.g. discrete distribution estimation) with local $ε$-differential privacy, which preserves each data provider's privacy locally, we aim to optimize statistical data utility under the privacy constraints. Specifically, we study maximizing mutual information between a provider's data and its private view, and give the exact mutual information bound along with an attainable mechanism: $k$-subset mechanism as results. The mutual information optimal mechanism randomly outputs a size $k$ subset of the original data domain with delicate probability assignment, where $k$ varies with the privacy level $ε$ and the data domain size $d$. After analysing the limitations of existing local private mechanisms from mutual information perspective, we propose an efficient implementation of the $k$-subset mechanism for discrete distribution estimation, and show its optimality guarantees over existing approaches.

연구 동기 및 목표

• 국소 미분적 비밀유지에서 이론적 비밀유지 메커니즘과 실용적 데이터 유용성 사이의 격차를 메우기 위해.
• 모든 비밀유지 수준에서 국소 ε-미분적 비밀유지 하에서 정확한 상호정보량 한계를 도출하기 위해, 고비밀유지 영역 뿐만 아니라 전체 범위에서.
• 기존 국소 비밀유지 메커니즘의 한계를 상호정보량 관점에서 식별하고 분석하기 위해.
• 이산 분포 추정에 대해 최적의 데이터 유용성을 달성하는 효율적이고 구현 가능한 메커니즘인 k-서브셋을 제안하기 위해.
• l₂-노름 오차 측정 기준에서 k-서브셋 메커니즘이 최적임을 입증하기 위해.

제안 방법

• 모든 국소 비밀유지 메커니즘을 상호정보량 손실 없이 가중치 보정 형태로 변환한다.
• 국소 비밀유지 하에서 상호정보량의 볼록성 유사 성질을 발견하여, 고정 크기의 서브셋(즉, k-서브셋)을 무작위로 출력하는 것이 최적임을 증명한다.
• ε와 도메인 크기 d에 대한 함수로 하여 최적의 서브셋 크기 k를 최적화함으로써 정확한 상호정보량 한계를 유도한다.
• k-서브셋 메커니즘을 제안한다: 데이터 도메인 X에서 크기가 k인 균일 무작위 서브셋을 출력하는 비밀 채널.
• 선형 시간 복잡도의 데이터 무작위화기와 선형 시간 복잡도의 분포 추정기를 갖춘 효율적 구현을 설계한다.
• 이산 분포 추정에서 l₂-노름 오차 기준으로 k-서브셋 메커니즘의 최적성 보장을 수립한다.

실험 결과

연구 질문

• RQ1 모든 비밀유지 수준에서 ε-미분적 비밀유지 하에서 사용자 개인의 비밀 데이터와 그 국소 정제된 시각 간의 정확한 상호정보량 상한은 무엇인가?
• RQ2 기존 국소 비밀유지 메커니즘은 왜 실용적 비밀유지 영역(예: ε ∈ [log 2, log(d−1)])에서 성능이 열등한가?
• RQ3 이론적 상호정보량 한계에 도달하면서도 분포 추정에 대해 효율적으로 구현 가능한 메커니즘이 구축될 수 있는가?
• RQ4 최적의 서브셋 크기 k는 비밀유지 수준 ε와 데이터 도메인 크기 d와 어떻게 관련이 있는가?
• RQ5 k-서브셋 메커니즘은 이산 분포 추정에서 l₂-노름 오차 측정 기준으로 최적인가?

주요 결과

• k-서브셋 메커니즘은 실용적 영역인 ε ∈ [log 2, log(d−1)]를 포함하여 모든 ε에서 국소 ε-미분적 비밀유지의 정확한 이론적 상호정보량 한계를 달성한다.
• 최적의 서브셋 크기 k는 ε와 d에 대한 닫힌 형식의 함수로 결정되며, 비밀유지 제약 조건 하에서 최대 정보 유지 보장을 보장한다.
• 수치적 평가 결과, k-서브셋 메커니즘은 중간 비밀유지 영역에서 기존 메커니즘보다 뚜렷이 뛰어난 성능을 보이며, 일부 설정에서 l₂ 오차가 최대 30% 낮아진다.
• 메커니즘의 데이터 무작위화기와 분포 추정기는 각각 도메인 크기 d와 사용자 수 n에 대해 선형 시간 복잡도를 가지며, 효율적인 구현이 가능하다.
• 일반화된 무작위 응답 및 그 변형과 같은 기존 메커니즘은 특히 실용적 비밀유지 범위에서 상호정보량 면에서 최적성이 떨어짐이 입증되었다.
• k-서브셋 메커니즘은 l₂-노름 오차 기준으로 최적성을 확보하여, 이산 분포 추정 작업에서의 열등성을 입증한다.