[논문 리뷰] Reviewing and Improving the Gaussian Mechanism for Differential Privacy

Jun Zhao, Teng Wang외 8명|arXiv (Cornell University)|2019. 11. 27.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 19

한 줄 요약

이 논문은 $(\epsilon,\delta)$-차별적 프라이버시를 위한 고전적 가우시안 메커니즘에서 오랫동안 지속된 결함을 규명하고 수정한다. Dwork 등(2006)과 Dwork & Roth(2014)에서 널리 사용되는 노이즈 한계가 큰 $\epsilon$에 대해 프라이버시를 보장하지 못한다는 점을 보여주며, 모든 $\epsilon > 0$에 대해 $(\epsilon,\delta)$-DP를 보장하면서 기존 메커니즘보다 유용성을 향상시키는 최적의 노이즈 파라미터 $\sigma_{\texttt{DP-OPT}}$에 대한 새로운 닫힌 형태의 상한을 도출한다.

ABSTRACT

Differential privacy provides a rigorous framework to quantify data privacy, and has received considerable interest recently. A randomized mechanism satisfying $(ε, δ)$-differential privacy (DP) roughly means that, except with a small probability $δ$, altering a record in a dataset cannot change the probability that an output is seen by more than a multiplicative factor $e^ε $. A well-known solution to $(ε, δ)$-DP is the Gaussian mechanism initiated by Dwork et al. [1] in 2006 with an improvement by Dwork and Roth [2] in 2014, where a Gaussian noise amount $\sqrt{2\ln \frac{2}δ} imes \fracΔε$ of [1] or $\sqrt{2\ln \frac{1.25}δ} imes \fracΔε$ of [2] is added independently to each dimension of the query result, for a query with $\ell_2$-sensitivity $Δ$. Although both classical Gaussian mechanisms [1,2] assume $0 < ε\leq 1$, our review finds that many studies in the literature have used the classical Gaussian mechanisms under values of $ε$ and $δ$ where the added noise amounts of [1,2] do not achieve $(ε,δ)$-DP. We obtain such result by analyzing the optimal noise amount $σ_{DP-OPT}$ for $(ε,δ)$-DP and identifying $ε$ and $δ$ where the noise amounts of classical mechanisms are even less than $σ_{DP-OPT}$. Since $σ_{DP-OPT}$ has no closed-form expression and needs to be approximated in an iterative manner, we propose Gaussian mechanisms by deriving closed-form upper bounds for $σ_{DP-OPT}$. Our mechanisms achieve $(ε,δ)$-DP for any $ε$, while the classical mechanisms [1,2] do not achieve $(ε,δ)$-DP for large $ε$ given $δ$. Moreover, the utilities of our mechanisms improve those of [1,2] and are close to that of the optimal yet more computationally expensive Gaussian mechanism.

연구 동기 및 목표

• 문헌에서 널리 퍼져 있는 고전적 가우시안 메커니즘(Dwork-2006 및 Dwork-2014)의 오용을 규명하고 수정하는 것. 이 메커니즘은 큰 $\epsilon$에 대해 $(\epsilon,\delta)$-차별적 프라이버시를 보장하지 못한다.
• $(\epsilon,\delta)$-DP에 대한 최적의 노이즈 파라미터 $\sigma_{\texttt{DP-OPT}}$를 공식적으로 분석하고, 큰 $\epsilon$에 대해 고전적 메커니즘이 요구되는 임계값 이하의 노이즈 수준을 사용한다는 점을 보여주는 것.
• 모든 $\epsilon > 0$에 대해 유효한 새로운 닫힌 형태의 상한을 도출하여 $\sigma_{\texttt{DP-OPT}}$를 보장함으로써, 가우시안 메커니즘의 정확하고 효율적인 구현을 가능하게 하는 것.
• 최적의 그러나 계산 비용이 큰 $\sigma_{\texttt{DP-OPT}}$에 가까운 성능을 유지하면서도 프라이버시 보장을 유지하면서 노이즈를 줄여 메커니즘의 유용성을 향상시키는 것.
• $(\epsilon,\delta)$-확률적 차별적 프라이버시(pDP)에 대한 종합적인 분석을 제공하며, 표준 DP와의 관계 및 노이즈 요구 조건을 명확히 하는 것.

제안 방법

• 저자들은 가우시안 분포의 누적분포함수와 보완오차함수를 사용하여 프라이버시 제약 조건을 해결함으로써 $(\epsilon,\delta)$-DP에 대한 최적의 노이즈 파라미터 $\sigma_{\texttt{DP-OPT}}$를 유도한다.
• 큰 $\epsilon$에 대해 $\sigma_{\texttt{DP-OPT}} = \Theta(1/\sqrt{\epsilon})$임을 증명하며, 이는 고전적 $\Theta(1/\epsilon)$ 스케일링과 모순되며, 이는 큰 $\epsilon$에 대해 고전적 메커니즘이 무효하다는 것을 의미한다.
• 모든 $\epsilon > 0$에 대해 유효하며 고전적 상한보다 더 날카로운 새로운 닫힌 형태의 상한을 도출한다. 이는 보완오차함수의 역함수에 대한 분석적 부등식을 통해 유도된다.
• 저자들은 케리그의 공식과 $\operatorname{inverfc}(y)$의 역함수에 대한 경계를 포함한 엄밀한 수학적 증명을 통해 제안된 상한을 검증한다.
• 제안된 메커니즘을 고전적 메커니즘과 최적의 $\sigma_{\texttt{DP-OPT}}$와 비교하여 이론적 및 수치적 분석을 통해 유용성 향상을 입증한다.
• $(\epsilon,\delta)$-확률적 차별적 프라이버시(pDP)에 대한 광범위한 논의를 포함하며, 표준 DP와의 관계를 명확히 하고, 해당 노이즈 요구 조건을 유도한다.

실험 결과

연구 질문

• RQ1 왜 널리 사용되는 고전적 가우시안 메커니즘(Dwork-2006 및 Dwork-2014)은 큰 $\epsilon$ 값에 대해 $(\epsilon,\delta)$-DP를 달성하지 못하는가?
• RQ2 큰 $\epsilon$에 대해 최적의 노이즈 파라미터 $\sigma_{\texttt{DP-OPT}}$의 정확한 渐近적 스케일링은 무엇이며, 고전적 $\Theta(1/\epsilon)$ 가정과 어떻게 다를까?
• RQ3 모든 $\epsilon > 0$에 대해 유효하고 $(\epsilon,\delta)$-DP를 보장하는 $\sigma_{\texttt{DP-OPT}}$에 대한 닫힌 형태의 상한을 유도할 수 있는가?
• RQ4 제안된 메커니즘은 고전적 메커니즘과 최적의 $\sigma_{\texttt{DP-OPT}}$에 비해 유용성 측면에서 어떻게 비교되는가?
• RQ5 $(\epsilon,\delta)$-DP와 $(\epsilon,\delta)$-확률적 차별적 프라이버시(pDP) 사이의 관계는 무엇이며, 노이즈 요구 조건은 어떻게 다를까?

주요 결과

• 고전적 가우시안 메커니즘(Dwork-2006 및 Dwork-2014)은 큰 $\epsilon$에 대해 요구되는 $\sigma_{\texttt{DP-OPT}}$ 이하의 노이즈 수준을 사용하므로 $(\epsilon,\delta)$-DP를 보장하지 못한다.
• 큰 $\epsilon$에 대해 최적의 노이즈 파라미터는 $\Theta(1/\sqrt{\epsilon})$ 스케일링을 보이며, 고전적 $\Theta(1/\epsilon)$가 아니므로 고전적 가정은 큰 $\epsilon$에 대해 무효하다.
• 제안된 $\sigma_{\texttt{DP-OPT}}$에 대한 닫힌 형태의 상한은 모든 $\epsilon > 0$에 대해 $(\epsilon,\delta)$-DP를 보장하며, 고전적 상한보다 더 날카럽고 유용성을 향상시킨다.
• 새로운 메커니즘은 고전적 메커니즘보다 유의미하게 뛰어난 유용성을 보이며, 계산 비용이 큰 최적의 $\sigma_{\texttt{DP-OPT}}$에 매우 가까운 성능을 유지한다.
• 저자들은 $\sigma_{\texttt{Dwork-2006}} = \sqrt{2\ln(2/\delta)} \cdot \Delta / \epsilon$ 및 $\sigma_{\texttt{Dwork-2014}} = \sqrt{2\ln(1.25/\delta)} \cdot \Delta / \epsilon$가 큰 $\epsilon$에 대해 조차도 충분하지 않음을 엄밀히 증명한다. 이는 $\delta$가 작더라도 마찬가지다.
• 저자들은 새로운 상한을 유도하고 증명한다: $\operatorname{inverfc}(y) < \sqrt{\ln\left(\frac{2}{\sqrt{8y+1}-1}\right)}$이며, 이는 새로운 닫힌 형태의 노이즈 상한을 구성하는 데 사용된다.