[논문 리뷰] Pure Differentially Private Summation from Anonymous Messages

Badih Ghazi, Noah Golowich외 4명|arXiv (Cornell University)|2020. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 14

한 줄 요약

이 논문은 상수 오차를 가진 바이너리 및 실수 합산에 대해 셰플드 모델에서 처음으로 순수 미분적 개인정보 보호 프로토콜을 제안한다. 이는 각 사용자가 바이너리 합산에 대해 Oϵ(log n) 비트, 실수 합산에 대해 Oϵ(log³n) 비트를 전송하는 새로운 다중 메시지 셰플링 프로토콜을 설계함으로써 달성된다. 동시에, 엄밀한 Ωϵ(√log n) 통신 하한선을 증명하여 순수 DP와 약간의 DP 간의 분리, 그리고 셰플드 모델과 중심 모델 간의 분리를 확립한다.

ABSTRACT

The shuffled (aka anonymous) model has recently generated significant interest as a candidate distributed privacy framework with trust assumptions better than the central model but with achievable errors smaller than the local model. We study pure differentially private (DP) protocols in the shuffled model for summation, a basic and widely used primitive: - For binary summation where each of n users holds a bit as an input, we give a pure $ε$-DP protocol for estimating the number of ones held by the users up to an error of $O_ε(1)$, and each user sends $O_ε(\log n)$ messages each of 1 bit. This is the first pure protocol in the shuffled model with error $o(\sqrt{n})$ for constant $ε$. Using this protocol, we give a pure $ε$-DP protocol that performs summation of real numbers in $[0, 1]$ up to an error of $O_ε(1)$, and where each user sends $O_ε(\log^3 n)$ messages each of $O(\log\log n)$ bits. - In contrast, we show that for any pure $ε$-DP protocol for binary summation in the shuffled model having absolute error $n^{0.5-Ω(1)}$, the per user communication has to be at least $Ω_ε(\sqrt{\log n})$ bits. This implies the first separation between the (bounded-communication) multi-message shuffled model and the central model, and the first separation between pure and approximate DP protocols in the shuffled model. To prove our lower bound, we consider (a generalization of) the following question: given $γ$ in $(0, 1)$, what is the smallest m for which there are two random variables $X^0, X^1$ supported on $\{0, \dots ,m\}$ such that (i) the total variation distance between $X^0$ and $X^1$ is at least $1-γ$, and (ii) the moment generating functions of $X^0$ and $X^1$ are within a constant factor of each other everywhere? We show that the answer is $m = Θ(\sqrt{\log(1/γ)})$.

연구 동기 및 목표

• 오차 o(√n)와 상수 절대 오차를 가진 셰플드 모델에서 바이너리 합산에 대해 순수 미분적 개인정보 보호 프로토콜을 개발한다.
• 바이너리 합산 프로토콜을 실수 [0,1]에 확장하여 상수 오차와 효율적인 통신을 달성한다.
• 순수 DP의 셰플드 모델에서의 통신 하한선을 확립하여 중심 모델과 약간의 DP 프로토콜과의 분리를 이룬다.
• 특히 합산을 위해 순수 DP에 필요한 최소한의 통신을 해결하는 기본적인 질문을 다룬다.
• 이산 분포의 총 변화 거리와 모멘트 생성 함수를 바ounds하는 데 사용될 수 있는 새로운 분석 프레임워크를 제공한다.

제안 방법

• 각 사용자가 입력 비트를 Oϵ(log n) 개의 익명 메시지로 인코딩하는 다중 메시지 셰플링 프로토콜을 설계한다. 각 메시지는 단일 비트이며, 정밀하게 조정된 노이즈를 가진 랜덤라이즈드 리스폰스를 사용한다.
• 셰플러를 사용해 모든 메시지를 무작위로 재배열함으로써 분석자가 메시지와 사용자를 연결할 수 없게 하여 순수 미분적 개인정보 보호를 달성한다.
• 실수 합산 프로토콜에서 다중 비트 위치의 총 개인정보 유출을 제한하기 위해 복합 정리(composition theorems)를 적용하고, 오차를 최소화하기 위해 프라이버시 예산을 할당한다.
• 통신 하한선을 분석하기 위해 두 이산 분포의 모멘트 생성 함수(MGF) 비율을 분석하고, 이를 총 변화 거리와 연결한다.
• 분석을 일반화하여 두 분포가 {0,...,m} 위에서 총 변화 거리 ≥1−γ이고 MGF 비율이 상수 요소 내에 있을 때 최소한의 m를 바ounds하는 데 사용하며, m = Θ(√log(1/γ))임을 보여준다.
• 입력값의 2진수 표현의 각 비트 위치에 대해 독립적으로 바이너리 프로토콜을 적용하고, 오차를 최소화하기 위해 프라이버시 예산을 할당함으로써 실수 합산 프로토콜을 구성한다.

실험 결과

연구 질문

• RQ1 셰플드 모델에서 순수 미분적 개인정보 보호 프로토콜이 하위선형 통신으로 바이너리 합산에 대해 상수 오차를 달성할 수 있는가?
• RQ2 셰플드 모델에서 순수 DP에 대해 바이너리 및 실수 합산의 최적 통신 복잡도는 무엇인가?
• RQ3 셰플드 모델에서 순수 DP와 약간의 DP 프로토콜 간에 증명 가능한 분리가 존재하는가?
• RQ4 모멘트 생성 함수 분석을 통해 셰플드 모델에서 순수 DP의 통신 하한선을 확립할 수 있는가?
• RQ5 다중 메시지 셰플드 모델은 순수 DP의 통신 효율성 측면에서 중심 모델보다 엄밀한 이점을 제공하는가?

주요 결과

• 논문은 절대 오차 Oϵ(1)를 가지며, 각 사용자가 Oϵ(log n) 개의 1비트 메시지를 전송하는 셰플드 모델에서 바이너리 합산에 대해 순수 ϵ-미분적 개인정보 보호 프로토콜을 제시한다.
• 실수 [0,1] 범위의 합산에 대해, 프로토콜은 기대 오차 O(√log(1/ϵ)/ϵ³/²)를 달성하며, 각 사용자는 Oϵ(log³n) 개의 O(log log n) 비트 메시지를 전송한다.
• 오차 n⁰.⁵⁻ᴼ⁽¹⁾인 어떤 순수 ϵ-DP 프로토콜에 대해서도 사용자당 Ωϵ(√log n) 비트의 통신 하한선을 증명하여 중심 모델과의 분리를 확립한다.
• 하한선은 두 분포가 {0,...,m} 위에서 총 변화 거리 ≥1−γ이고 MGF 비율이 상수 요소 내에 있을 때 최소한의 m를 분석함으로써 유도되며, m = Θ(√log(1/γ))임을 보여준다.
• 이 프로토콜은 셰플드 모델에서 순수 DP와 약간의 DP 간의 첫 번째 분리를 보여주며, 약간의 DP 프로토콜은 더 낮은 통신으로 하위상수 오차를 달성할 수 있음을 보여준다.
• 실수 합산 프로토콜은 각 비트 위치에 대해 독립적인 바이너리 프로토콜을 적용하고, 오차를 최소화하기 위해 프라이버시 예산을 할당함으로써 사용자당 Oϵ(log³n)의 통신 복잡도를 달성한다.