[論文レビュー] Optimal Noise Adding Mechanisms for Approximate Differential Privacy

Quan Geng, Pramod Viswanath|arXiv (Cornell University)|May 6, 2013

Privacy-Preserving Technologies in Data参考文献 9被引用数 9

ひとこと要約

本稿は、整数値をとるクエリおよびヒストグラム型クエリに対する $(\epsilon,\delta)$-微分プライバシーの高プライバシー領域（$\epsilon,\delta \to 0$）における最適なノイズ追加メカニズムを特徴づけている。$\ell^1$ および $\ell^2$ のコスト関数に対して、離散ラプラスおよび一様ノイズメカニズムが近似的に最適であることが示され、最適なノイズの大きさとパワーはそれぞれ $\Theta(\min(1/\epsilon, 1/\delta))$ および $\Theta(\min(1/\epsilon^2, 1/\delta^2))$ に比例する。これは、この設定において $(\epsilon,\delta)$-DP が $(\epsilon,0)$-DP や $(0,\delta)$-DP に対してはほとんど利点を提供しないことを示している。

ABSTRACT

We study the (nearly) optimal mechanisms in $(ε,δ)$-approximate differential privacy for integer-valued query functions and vector-valued (histogram-like) query functions under a utility-maximization/cost-minimization framework. We characterize the tradeoff between $ε$ and $δ$ in utility and privacy analysis for histogram-like query functions ($\ell^1$ sensitivity), and show that the $(ε,δ)$-differential privacy is a framework not much more general than the $(ε,0)$-differential privacy and $(0,δ)$-differential privacy in the context of $\ell^1$ and $\ell^2$ cost functions, i.e., minimum expected noise magnitude and noise power. In the same context of $\ell^1$ and $\ell^2$ cost functions, we show the near-optimality of uniform noise mechanism and discrete Laplacian mechanism in the high privacy regime (as $(ε,δ) o (0,0)$). We conclude that in $(ε,δ)$-differential privacy, the optimal noise magnitude and noise power are $Θ(\min(\frac{1}ε,\frac{1}δ))$ and $Θ(\min(\frac{1}{ε^2},\frac{1}{δ^2}))$, respectively, in the high privacy regime.

研究の動機と目的

• 整数値をとるおよびベクトル値をとる（ヒストグラムに類似した）クエリ関数に対して、$(\epsilon,\delta)$-微分プライバシー下でのほぼ最適なノイズ追加メカニズムを特定すること。
• $\ell^1$ 敏感なクエリ関数の観点から、プライバシーと利便性のトレードオフとして $\epsilon$ と $\delta$ の関係を分析すること。
• ノイズの大きさと分散の観点から、$(\epsilon,\delta)$-微分プライバシーが $(\epsilon,0)$-DP や $(0,\delta)$-DP の特別なケースに対して顕著な利点を提供するかどうかを評価すること。
• 高プライバシー領域（$\epsilon,\delta \to 0$）における最小達成可能コスト（ノイズの大きさおよびパワー）の漸近的境界を確立すること。

提案手法

• $\ell^1$ 敏感なクエリ関数を対象とした $(\epsilon,\delta)$-微分プライバシー制約下でのコスト最小化フレームワークを定式化する。
• 線形計画法における双対性を用いて、$\ell^2$ コスト関数の最適コストの下界 $V'_{LB}$ を導出する。
• パrameter $\alpha = 3/2$, $\beta = \max(\epsilon,\delta)$, $k = \log \alpha / \beta$ を用いて、双対線形計画法の候補解を構築する。
• 双対変数 $y_i^{(m)}$ の解析的表現を導出し、$\beta \to 0$ の漸近的挙動を評価する。
• 導出された下界を離散ラプラスおよび一様ノイズメカニズムが達成するコストと比較することで、近似的な最適性を確立する。
• テイラー展開および支配的項抽出を用いた漸近的解析により、高プライバシー領域におけるコストの主要項の挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 $(\epsilon,\delta)$-微分プライバシーは、$\ell^1$ 敏感なクエリに対して、ノイズ効率の観点から $(\epsilon,0)$-DP や $(0,\delta)$-DP よりも顕著に一般化されていると言えるか？
• RQ2 高プライバシー領域（$\epsilon,\delta \to 0$）において、$(\epsilon,\delta)$-DP における最小達成可能ノイズの大きさおよびノイズパワーの漸近的スケーリングはどのように振る舞うか？
• RQ3 高プライバシー領域において、離散ラプラスおよび一様ノイズメカニズムは $\ell^1$ および $\ell^2$ コスト関数に対してほぼ最適か？
• RQ4 $(\epsilon,\delta)$-DP における最適コストは下界で抑えられ、その下界は既知のメカニズムのコストと比べてどの程度か？

主な発見

• $(\epsilon,\delta)$-DP における最適なノイズの大きさは、高プライバシー領域（$\epsilon,\delta \to 0$）で $\Theta(\min(1/\epsilon, 1/\delta))$ に比例する。
• 最適なノイズパワーは、高プライバシー領域で $\Theta(\min(1/\epsilon^2, 1/\delta^2))$ に比例する。
• 離散ラプラスメカニズムは $(\epsilon,0)$-DP に対してほぼ最適であり、$(\epsilon,\delta)$-DP の設定においても最適コストの定数倍の範囲内に達成する。
• 一様ノイズメカニズムは $(0,\delta)$-DP に対してほぼ最適であり、$(\epsilon,\delta)$-DP の設定でも同様に最適コストの定数倍の範囲内に達成する。
• $\ell^2$ コスト関数の最適コストの下界は $\Omega(\frac{d\Delta^2}{\beta^2})$ であり、$\beta = \max(\epsilon,\delta)$ とすると、定数は少なくとも $0.0177$ である。
• $\ell^1$ コスト関数の最適コストの下界は $\Omega(\frac{d\Delta}{\beta})$ であり、定数は $\log(9/8) \approx 0.1178$ 以上である。