[論文レビュー] Optimal Noise-Adding Mechanism in Additive Differential Privacy

Quan Geng, Wei Ding+2 more|arXiv (Cornell University)|Sep 26, 2018

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿は連続的設定における$(0,\delta)$-微分プライバシーの最適ノイズ追加メカニズムを導出し、最適ノイズ分布がゼロにおける確率質量を有する一様分布であることを示している。ノイズの大きさ（$\ell^1$）とノイズのパワー（$\ell^2$）を最小化する場合、高プライバシー領域ではガウスメカニズムと比較して期待ノイズをそれぞれ2倍、3倍小さくできる。低プライバシー領域ではさらに顕著な向上が得られる。

ABSTRACT

We derive the optimal $(0, δ)$-differentially private query-output independent noise-adding mechanism for single real-valued query function under a general cost-minimization framework. Under a mild technical condition, we show that the optimal noise probability distribution is a uniform distribution with a probability mass at the origin. We explicitly derive the optimal noise distribution for general $\ell^p$ cost functions, including $\ell^1$ (for noise magnitude) and $\ell^2$ (for noise power) cost functions, and show that the probability concentration on the origin occurs when $δ> \frac{p}{p+1}$. Our result demonstrates an improvement over the existing Gaussian mechanisms by a factor of two and three for $(0,δ)$-differential privacy in the high privacy regime in the context of minimizing the noise magnitude and noise power, and the gain is more pronounced in the low privacy regime. Our result is consistent with the existing result for $(0,δ)$-differential privacy in the discrete setting, and identifies a probability concentration phenomenon in the continuous setting.

研究の動機と目的

• 単一の実数値クエリに対する$(0,\delta)$-微分プライバシーにおける根本的なプライバシー・ユーティリティのトレードオフを特定すること。
• クエリ出力に依存しないメカニズムの下で一般のコスト最小化フレームワークにおける最適ノイズ分布を同定すること。
• $(\epsilon,0)$ や $(\epsilon,\delta)$ の領域と比較してあまり注目されてこなかった$(0,\delta)$-微分プライバシーの理解のギャップを埋めること。
• 連続的$(0,\delta)$-微分プライバシーにおいて、最適ノイズ分布にゼロにおける確率質量の集中が生じることを示すこと。

提案手法

• $\ell^p$コスト関数フレームワークの下で、$(0,\delta)$-微分プライバシーにおける最適ノイズ分布を導出する。
• 小さなノイズを大きなノイズよりも好むというやや緩い技術的条件の下で変分最適化アプローチを用いる。
• 最適ノイズをパrameter $\alpha^*$ でパラメータ化したゼロにおける確率質量を有する一様分布として特徴付ける。
• $\ell^1$ および $\ell^2$ コスト関数に対して、$\alpha^*$ を $\delta$ の関数として明示的に導出する。
• 期待ノイズの大きさおよびパワーの正確な解析的表現を用いて、最適メカニズムとガウスメカニズムを比較する。
• 正確な累積分布関数のキャリブレーションを用いて、BalleとWang（2018）の改良ガウスメカニズムとの比較を通じて最適性を検証する。

実験結果

リサーチクエスチョン

• RQ1 $(0,\delta)$-微分プライバシーにおいて、ノイズの期待$\ell^1$ノルムを最小化する最適ノイズ分布は何か？
• RQ2 $(0,\delta)$-微分プライバシーにおいて、ノイズの期待$\ell^2$ノルムを最小化する最適ノイズ分布は何か？
• RQ3 連続的$(0,\delta)$-微分プライバシーにおいて、最適ノイズ分布にゼロにおける確率質量が現れるか？また、その条件は何か？
• RQ4 高プライバシー領域と低プライバシー領域の両方において、最適メカニズムはノイズの大きさとパワーの点でガウスメカニズムと比べてどのように異なるか？
• RQ5 一般の$\ell^p$コスト関数の下で、$(0,\delta)$-微分プライバシーにおける最適ノイズ分布は明示的に特徴付けられるか？

主な発見

• ノイズの大きさ（$\ell^1$）を最小化する場合、$\delta > \frac{1}{2}$ であれば最適ノイズ分布はゼロに確率質量を持つ。このとき $\alpha^* = 2\delta - 1$ であり、$\delta \leq \frac{1}{2}$ の場合、最小期待ノイズ大きさは $\frac{\Delta}{4\delta}$ である。
• ノイズのパワー（$\ell^2$）を最小化する場合、$\delta > \frac{2}{3}$ であれば最適ノイズ分布はゼロに確率質量を持つ。このとき $\alpha^* = 3\delta - 2$ であり、$\delta \leq \frac{2}{3}$ の場合、最小期待ノイズパワーは $\frac{\Delta^2}{12\delta^2}$ である。
• 高プライバシー領域（$\delta \to 0$）において、最適メカニズムはBalleとWang（2018）の改良ガウスメカニズムと比較して、期待ノイズの大きさを2倍、パワーを3倍小さくする。
• 低プライバシー領域（$\delta \to 1$）において、最適ノイズコストは$(1 - \delta)$に比例して減少するが、ガウスメカニズムのコストはそれぞれ $\frac{\Delta}{2}$ および $\frac{\Delta^2}{4}$ に収束するため、この領域での改善は顕著である。
• $\ell^p$コスト関数に対して、$\delta > \frac{p}{p+1}$ のとき、最適ノイズ分布はゼロにおける確率質量の集中を示す。これは、先行研究で観察された離散的状況における一様ノイズ現象の連続的アナログを確認するものである。
• 結果は、$(0,\delta)$-微分プライバシーの最適ノイズメカニズムがガウスメカニズムを厳密に上回ることを確認しており、特にユーティリティの向上が顕著な低プライバシー領域で顕著である。