[論文レビュー] The Optimal Mechanism in Differential Privacy

Quan Geng, Pramod Viswanath|arXiv (Cornell University)|Dec 5, 2012

Privacy-Preserving Technologies in Data参考文献 3被引用数 15

ひとこと要約

この論文は、一般の効用最大化フレームワークの下で、単一の実数値クエリに対する最適な $\epsilon$-微分プライバシー機構を導出する。ステップ関数メカニズムと呼ばれる、幾何的減衰を示す対称的かつ区分定数の確率密度関数を導入し、$\ell_1$ および $\ell_2$ のコスト関数の下でノイズの大きさと2次モーメントを最小化することで、特に中程度から低レベルのプライバシー領域（$\epsilon$）においてラプラス機構を上回る。

ABSTRACT

We derive the optimal $ε$-differentially private mechanism for single real-valued query function under a very general utility-maximization (or cost-minimization) framework. The class of noise probability distributions in the optimal mechanism has {\em staircase-shaped} probability density functions which are symmetric (around the origin), monotonically decreasing and geometrically decaying. The staircase mechanism can be viewed as a {\em geometric mixture of uniform probability distributions}, providing a simple algorithmic description for the mechanism. Furthermore, the staircase mechanism naturally generalizes to discrete query output settings as well as more abstract settings. We explicitly derive the optimal noise probability distributions with minimum expectation of noise amplitude and power. Comparing the optimal performances with those of the Laplacian mechanism, we show that in the high privacy regime ($ε$ is small), Laplacian mechanism is asymptotically optimal as $ε o 0$; in the low privacy regime ($ε$ is large), the minimum expectation of noise amplitude and minimum noise power are $Θ(Δe^{-\fracε{2}})$ and $Θ(Δ^2 e^{-\frac{2ε}{3}})$ as $ε o +\infty$, while the expectation of noise amplitude and power using the Laplacian mechanism are $\fracΔε$ and $\frac{2Δ^2}{ε^2}$, where $Δ$ is the sensitivity of the query function. We conclude that the gains are more pronounced in the low privacy regime.

研究の動機と目的

• 実数値クエリの微分プライバシーにおけるプライバシー（$\epsilon$）と効用の根本的トレードオフを確立すること。
• 一般のコスト関数（$\ell_1$ および $\ell_2$ を含む）の下で、期待コスト（効用損失）を最小化する最適なノイズ分布を導出すること。
• 幾何的およびラプラス的メカニズムに関する先行研究を一般化し、階段状の密度関数を持つより広い最適メカニズムのクラスを同定すること。
• 異なるプライバシー領域（$\epsilon \to 0$ および $\epsilon \to \infty$）における標準ラプラスメカニズムと比較して、最適メカニズムの性能向上を特定すること。

提案手法

• 効用をノイズ上の一般コスト関数で定義する $\epsilon$-微分プライバシー制約の下でコスト最小化フレームワークとして問題を定式化する。
• ラグランジュ乗数を用いた制約付き最適化問題を解くことで、離散的クエリ出力の最適確率質量関数（PMF）を導出する。
• 最適PMFが階段構造を有することを同定する：初期区間で定数値をとり、その後幾何的に減衰する形で、ゼロを中心に対称的である。
• 最適メカニズムが一様分布の幾何的混合物として表現できることを示し、効率的なアルゴリズム的実装を可能にする。
• 最適PMFにおける減衰パラメータ $\lambda$ が $e^{-\epsilon}$ または 1 に限定されることを証明し、グローバルに最適なメカニズムを定義する極端解を導出する。
• $\ell_1$ および $\ell_2$ のコスト関数に対して最適パラメータを明示的に計算し、ノイズ分布の閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の感度を持つ単一の実数値クエリに対して、$\epsilon$-微分プライバシーの下で期待コストを最小化する最適なノイズ分布は何か？
• RQ2 最適メカニズムは、高プライバシー領域（$\epsilon \to 0$）および低プライバシー領域（$\epsilon \to \infty$）において、ラプラスメカニズムと比較してどのように性能を発揮するか？
• RQ3 最適メカニズムは一様分布の混合物として特徴付けられるか？この構造は実装を簡素化するか？
• RQ4 $\epsilon \to \infty$ のとき、最適メカニズムにおける最小ノイズの大きさおよび2次モーメントの漸近的挙動は何か？
• RQ5 最適メカニズムは、ラプラス的および幾何的ノイズを越えて、より広いコスト関数およびクエリ感度のクラスに一般化可能か？

主な発見

• 最適メカニズムは、幾何的減衰を示す対称的かつ区分定数の確率密度関数を有し、階段状の形状をとる。
• $\ell_1$ コストの下で、最適メカニズムにおける最小ノイズの大きさは $\epsilon \to \infty$ のとき $\Theta(\Delta e^{-\epsilon/2})$ のオーダーでスケーリングされ、ラプラス機構の $\Theta(\Delta / \epsilon)$ のスケーリングを改善する。
• $\ell_2$ コストの下で、最適メカニズムにおけるノイズの最小2次モーメントは $\epsilon \to \infty$ のとき $\Theta(\Delta^2 e^{-2\epsilon/3})$ のオーダーでスケーリングされ、ラプラス機構の $\Theta(\Delta^2 / \epsilon^2)$ のスケーリングを上回る。
• ラプラスメカニズムは $\epsilon \to 0$ のとき漸近的に最適であるが、ステップ関数メカニズムの利点は中程度から低レベルのプライバシー領域で最も顕著である。
• 最適メカニズムは一様分布の幾何的混合物として表現可能であり、シンプルかつ効率的なアルゴリズム的構築を可能にする。
• 最適PMFは単一のパラメータ $r \in \{1, \dots, \Delta\}$ で完全に特徴付けられ、これは中央のプラトーのサイズに対応し、すべての候補の中からコスト関数を最小化するグローバルに最適な $r$ が特定される。