[논문 리뷰] Optimal Noise-Adding Mechanism in Additive Differential Privacy

Quan Geng, Wei Ding외 2명|arXiv (Cornell University)|2018. 09. 26.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 연속적 설정에서 $(0,\delta)$-차별적 비밀유지에 대해 최적의 노이즈 추가 메커니즘을 유도하며, 최적의 노이즈 분포가 영점에서 원소 질량을 가진 균일 분포임을 보여준다. 노이즈 크기($\ell^1$)와 노이즈 전력($\ell^2$)을 최소화할 경우, 고비밀리티 영역에서 가우시안 메커니즘 대비 기대 노이즈를 각각 두 배와 세 배 줄일 수 있으며, 저비밀리티 영역에서는 더 큰 이점이 있다.

ABSTRACT

We derive the optimal $(0, δ)$-differentially private query-output independent noise-adding mechanism for single real-valued query function under a general cost-minimization framework. Under a mild technical condition, we show that the optimal noise probability distribution is a uniform distribution with a probability mass at the origin. We explicitly derive the optimal noise distribution for general $\ell^p$ cost functions, including $\ell^1$ (for noise magnitude) and $\ell^2$ (for noise power) cost functions, and show that the probability concentration on the origin occurs when $δ> \frac{p}{p+1}$. Our result demonstrates an improvement over the existing Gaussian mechanisms by a factor of two and three for $(0,δ)$-differential privacy in the high privacy regime in the context of minimizing the noise magnitude and noise power, and the gain is more pronounced in the low privacy regime. Our result is consistent with the existing result for $(0,δ)$-differential privacy in the discrete setting, and identifies a probability concentration phenomenon in the continuous setting.

연구 동기 및 목표

• 단일 실수값 쿼리에 대해 $(0,\delta)$-차별적 비밀유지의 기본적인 비밀유지-유용성 트레이드오프를 규명하는 것.
• 쿼리-출력 독립 메커니즘에 대한 일반적인 비용 최소화 프레임워크 하에서 최적의 노이즈 분포를 규명하는 것.
• $(\epsilon,0)$ 또는 $(\epsilon,\delta)$ 영역에 비해 덜 다뤄진 $(0,\delta)$-차별적 비밀유지의 이해 격차를 메우는 것.
• 최적의 노이즈 분포가 영점에서 확률 질량 집중 현상을 보임을 보여주는 것 — 이는 이전에 이산 설정에서만 관찰된 현상이다.

제안 방법

• $(0,\delta)$-차별적 비밀유지 하에서 일반적인 $\ell^p$ 비용 함수 프레임워크 하에서 최적의 노이즈 분포를 유도한다.
• 소음이 크기보다 작은 것을 선호하는 약한 기술적 조건 하에서 변분 최적화 접근법을 사용한다.
• 최적의 노이즈를 영점에서 원소 질량을 가진 균일 분포로 특성화하며, 이는 $\alpha^*$로 매개변수화된다.
• $\ell^1$ 및 $\ell^2$ 비용 함수에 대해 $\delta$의 함수로 $\alpha^*$를 명시적으로 유도한다.
• 기대 노이즈 크기 및 전력에 대한 정확한 해석적 표현을 사용해 최적 메커니즘과 가우시안 메커니즘을 비교한다.
• 정확한 누적분포함수 캘리브레이션을 사용해 Balle와 Wang(2018)의 개선된 가우시안 메커니즘과의 비교를 통해 최적성의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 기대 $\ell^1$-노이즈 크기를 최소화할 때 $(0,\delta)$-차별적 비밀유지에 대해 최적의 노이즈 분포는 무엇인가요?
• RQ2 기대 $\ell^2$-노이즈 크기를 최소화할 때 $(0,\delta)$-차별적 비밀유지 하에서 최적의 노이즈 분포는 무엇인가요?
• RQ3 연속적 $(0,\delta)$-차별적 비밀유지에서 최적의 노이즈 분포에 영점에서 확률 질량이 존재하는가, 그리고 어떤 조건에서 존재하는가?
• RQ4 고비밀리티 영역과 저비밀리티 영역에서 최적 메커니즘이 노이즈 크기와 전력 측면에서 가우시안 메커니즘과 어떻게 비교되는가?
• RQ5 일반적인 $\ell^p$ 비용 함수 하에서 $(0,\delta)$-차별적 비밀유지에 대해 최적의 노이즈 분포를 명시적으로 특성화할 수 있는가?

주요 결과

• 노이즈 크기($\ell^1$)를 최소화할 경우, $\delta > \frac{1}{2}$이면 영점에서 원소 질량을 가진 최적의 노이즈 분포가 존재하며, $\alpha^* = 2\delta - 1$이고, $\delta \leq \frac{1}{2}$일 때 기대 노이즈 크기의 최소값은 $\frac{\Delta}{4\delta}$이다.
• 노이즈 전력($\ell^2$)을 최소화할 경우, $\delta > \frac{2}{3}$이면 영점에서 원소 질량을 가진 최적의 노이즈 분포가 존재하며, $\alpha^* = 3\delta - 2$이고, $\delta \leq \frac{2}{3}$일 때 기대 노이즈 전력의 최소값은 $\frac{\Delta^2}{12\delta^2}$이다.
• 고비밀리티 영역($\delta \to 0$)에서 최적 메커니즘이 Balle와 Wang(2018)의 개선된 가우시안 메커니즘 대비 기대 노이즈 크기를 두 배 줄이고, 기대 노이즈 전력을 세 배 줄인다.
• 저비밀리티 영역($\delta \to 1$)에서는 최적의 노이즈 비용이 $(1 - \delta)$에 비례하여 감소하는 반면, 가우시안 메커니즘의 비용은 각각 $\frac{\Delta}{2}$와 $\frac{\Delta^2}{4}$로 수렴하여 이 영역에서 더 두드러진 개선이 있음을 시사한다.
• $\ell^p$ 비용 함수에 대해 $\delta > \frac{p}{p+1}$일 때 최적의 노이즈 분포가 영점에서 확률 질량 집중 현상을 보이며, 이는 이전 연구에서 관찰된 이산 균일 노이즈 현상의 연속적 해석임을 확인한다.
• 결과는 $(0,\delta)$-차별적 비밀유지에 대한 최적의 노이즈 메커니즘이 가우시안 메커니즘보다 엄밀히 우수하며, 특히 유용성 향상이 가장 두드러지는 저비밀리티 영역에서 그러하다.