[논문 리뷰] Optimal Noise Adding Mechanisms for Approximate Differential Privacy

Quan Geng, Pramod Viswanath|arXiv (Cornell University)|2013. 05. 06.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 9

한 줄 요약

이 논문은 정수 값과 히스토그램 유사 쿼리에 대해 고비밀리티 영역($\epsilon,\delta \to 0$)에서 $(\epsilon,\delta)$-차별적 비밀리티를 위한 최적의 노이즈 추가 메커니즘을 규명한다. 이는 $\ell^1$ 및 $\ell^2$ 비용 함수에 대해 이산 라플라스 및 균일 노이즈 메커니즘이 거의 최적임을 보여주며, 최적의 노이즈 크기와 전력 스케일링이 각각 $\Theta(\min(1/\epsilon, 1/\delta))$ 및 $\Theta(\min(1/\epsilon^2, 1/\delta^2))$로 나타나, 이 설정에서 $(\epsilon,\delta)$-DP가 $(\epsilon,0)$- 또는 $(0,\delta)$-DP에 비해 유의미한 이점을 제공하지 못함을 시사한다.

ABSTRACT

We study the (nearly) optimal mechanisms in $(ε,δ)$-approximate differential privacy for integer-valued query functions and vector-valued (histogram-like) query functions under a utility-maximization/cost-minimization framework. We characterize the tradeoff between $ε$ and $δ$ in utility and privacy analysis for histogram-like query functions ($\ell^1$ sensitivity), and show that the $(ε,δ)$-differential privacy is a framework not much more general than the $(ε,0)$-differential privacy and $(0,δ)$-differential privacy in the context of $\ell^1$ and $\ell^2$ cost functions, i.e., minimum expected noise magnitude and noise power. In the same context of $\ell^1$ and $\ell^2$ cost functions, we show the near-optimality of uniform noise mechanism and discrete Laplacian mechanism in the high privacy regime (as $(ε,δ) o (0,0)$). We conclude that in $(ε,δ)$-differential privacy, the optimal noise magnitude and noise power are $Θ(\min(\frac{1}ε,\frac{1}δ))$ and $Θ(\min(\frac{1}{ε^2},\frac{1}{δ^2}))$, respectively, in the high privacy regime.

연구 동기 및 목표

• 정수 값 및 벡터 값(히스토그램 유사) 쿼리 함수에 대해 $(\epsilon,\delta)$-차별적 비밀리티 하에서 거의 최적의 노이즈 추가 메커니즘을 규명하기 위해.
• $\ell^1$ 민감도를 가진 쿼리 함수에 대해 유용성과 비밀리티 간의 $\epsilon$와 $\delta$ 간의 상호작용를 분석하기 위해.
• $(\epsilon,\delta)$-차별적 비밀리티가 노이즈 크기와 분산 측면에서 특수 케이스인 $(\epsilon,0)$ 및 $(0,\delta)$-DP에 비해 유의미한 이점을 제공하는지 평가하기 위해.
• 고비밀리티 영역($\epsilon,\delta \to 0$)에서 최소 달성 가능한 비용(노이즈 크기 및 전력)에 대한 渐近적 경계를 수립하기 위해.

제안 방법

• 감도가 $\ell^1$인 쿼리 함수에 대해 $(\epsilon,\delta)$-차별적 비밀리티 제약 조건 하에서 비용 최소화 프레임워크를 수립한다.
• 선형 프로그래밍의 이중성 원리를 활용하여 $\ell^2$ 비용 함수에 대한 최적 비용의 하한 $V'_{LB}$를 유도한다.
• 매개수 $\alpha = 3/2$, $\beta = \max(\epsilon,\delta)$, $k = \log \alpha / \beta$를 가진 이중 선형 프로그램의 후보 해를 구성한다.
• 이중 변수 $y_i^{(m)}$에 대한 해석적 표현을 유도하고, $\beta \to 0$일 때 목표 함수를 渐近적으로 평가한다.
• 유도된 하한을 이산 라플라스 및 균일 노이즈 메커니즘에 의해 달성된 비용과 비교하여 거의 최적성을 입증한다.
• 테일러 전개와 지배항 추출을 활용한 渐近적 분석을 적용하여 고비밀리티 영역에서의 비용 주요 행동을 유도한다.

실험 결과

연구 질문

• RQ1 $(\epsilon,\delta)$-차별적 비밀리티가 $\ell^1$ 민감도를 가진 쿼리에 대해 노이즈 효율 측면에서 $(\epsilon,0)$- 또는 $(0,\delta)$-DP보다 유의미하게 일반적인가?
• RQ2 고비밀리티 영역에서 $\epsilon,\delta \to 0$일 때, $(\epsilon,\delta)$-DP 하에서 최소 달성 가능한 노이즈 크기와 노이즈 전력의 渐近적 스케일링은 어떻게 되는가?
• RQ3 고비밀리티 영역에서 $\ell^1$ 및 $\ell^2$ 비용 함수에 대해 이산 라플라스 및 균일 노이즈 메커니즘이 거의 최적인가?
• RQ4 $(\epsilon,\delta)$-DP 하에서 최적 비용은 하한으로 둘 수 있으며, 이는 알려진 메커니즘의 비용과 어떻게 비교되는가?

주요 결과

• $(\epsilon,\delta)$-DP 하에서 최적의 노이즈 크기는 고비밀리티 영역($\epsilon,\delta \to 0$)에서 $\Theta(\min(1/\epsilon, 1/\delta))$로 스케일링된다.
• 최적의 노이즈 전력은 고비밀리티 영역에서 $\Theta(\min(1/\epsilon^2, 1/\delta^2))$로 스케일링된다.
• 이산 라플라스 메커니즘은 $(\epsilon,0)$-DP에 대해 거의 최적이며, $(\epsilon,\delta)$-DP 설정에서 최적 비용의 상수 배수 이내의 비용을 달성한다.
• 균일 노이즈 메커니즘은 $(0,\delta)$-DP에 대해 거의 최적이며, $(\epsilon,\delta)$-DP 설정에서 최적 비용의 상수 배수 이내의 비용을 달성한다.
• $\ell^2$ 비용 함수에 대한 최적 비용의 하한은 $\Omega(\frac{d\Delta^2}{\beta^2})$이며, $\beta = \max(\epsilon,\delta)$일 때 상수는 최소 0.0177이다.
• $\ell^1$ 비용 함수에 대한 최적 비용의 하한은 $\Omega(\frac{d\Delta}{\beta})$이며, 상수는 최소 $\log(9/8) \approx 0.1178$이다.