[論文レビュー] Reviewing and Improving the Gaussian Mechanism for Differential Privacy

Jun Zhao, Teng Wang+8 more|arXiv (Cornell University)|Nov 27, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用数 19

ひとこと要約

この論文は、$(\epsilon,\delta)$-微分プライバシーの古典的ガウスメカニズムにおける長年の欠陥を特定・是正し、Dworkら（2006年）およびDworkとRoth（2014年）が提唱した広く用いられているノイズバウンドが、大きな$\epsilon$に対してプライバシーを保証しないことを示している。著者らは、すべての$\epsilon > 0$に対して$(\epsilon,\delta)$-微分プライバシーを保証する、最適なノイズパラメータ$\sigma_{\texttt{DP-OPT}}$の新しい閉形式上界を導出し、古典的メカニズムよりも優れた性能を実現する。

ABSTRACT

Differential privacy provides a rigorous framework to quantify data privacy, and has received considerable interest recently. A randomized mechanism satisfying $(ε, δ)$-differential privacy (DP) roughly means that, except with a small probability $δ$, altering a record in a dataset cannot change the probability that an output is seen by more than a multiplicative factor $e^ε $. A well-known solution to $(ε, δ)$-DP is the Gaussian mechanism initiated by Dwork et al. [1] in 2006 with an improvement by Dwork and Roth [2] in 2014, where a Gaussian noise amount $\sqrt{2\ln \frac{2}δ} imes \fracΔε$ of [1] or $\sqrt{2\ln \frac{1.25}δ} imes \fracΔε$ of [2] is added independently to each dimension of the query result, for a query with $\ell_2$-sensitivity $Δ$. Although both classical Gaussian mechanisms [1,2] assume $0 < ε\leq 1$, our review finds that many studies in the literature have used the classical Gaussian mechanisms under values of $ε$ and $δ$ where the added noise amounts of [1,2] do not achieve $(ε,δ)$-DP. We obtain such result by analyzing the optimal noise amount $σ_{DP-OPT}$ for $(ε,δ)$-DP and identifying $ε$ and $δ$ where the noise amounts of classical mechanisms are even less than $σ_{DP-OPT}$. Since $σ_{DP-OPT}$ has no closed-form expression and needs to be approximated in an iterative manner, we propose Gaussian mechanisms by deriving closed-form upper bounds for $σ_{DP-OPT}$. Our mechanisms achieve $(ε,δ)$-DP for any $ε$, while the classical mechanisms [1,2] do not achieve $(ε,δ)$-DP for large $ε$ given $δ$. Moreover, the utilities of our mechanisms improve those of [1,2] and are close to that of the optimal yet more computationally expensive Gaussian mechanism.

研究の動機と目的

• 広く用いられている古典的ガウスメカニズム（Dwork-2006およびDwork-2014）の誤用を特定・是正すること。これらは、大きな$\epsilon$に対して$(\epsilon,\delta)$-微分プライバシーを保証しない。
• $(\epsilon,\delta)$-微分プライバシーの最適ノイズパラメータ$\sigma_{\texttt{DP-OPT}}$を形式的に分析し、古典的メカニズムが大きな$\epsilon$に対して必要な閾値未満のノイズレベルを使用していることを示すこと。
• すべての$\epsilon > 0$に対して有効であり、$(\epsilon,\delta)$-微分プライバシーを保証する$\sigma_{\texttt{DP-OPT}}$の新しい閉形式上界を導出すること。
• 最適だが計算コストの高い$\sigma_{\texttt{DP-OPT}}$に近い性能を実現しつつ、プライバシー保証を維持したままノイズを低減することで、ガウスメカニズムの性能を向上させること。
• $(\epsilon,\delta)$-確率的微分プライバシー（pDP）の包括的分析を提供すること。これには、標準的DPとの関係およびノイズ要件の導出が含まれる。

提案手法

• 著者らは、ガウス分布の累積分布関数および補完誤差関数を用いて、プライバシー制約を解くことで、$(\epsilon,\delta)$-微分プライバシーの最適ノイズパラメータ$\sigma_{\texttt{DP-OPT}}$を導出する。
• 大きな$\epsilon$に対して、$\sigma_{\texttt{DP-OPT}} = \Theta(1/\sqrt{\epsilon})$であることを証明し、古典的メカニズムの$\Theta(1/\epsilon)$スケーリングとは矛盾することを示し、これにより古典的メカニズムが大きな$\epsilon$に対して無効であることを裏付ける。
• すべての$\epsilon > 0$に対して有効であり、古典的バウンドよりもタイトな新しい閉形式上界を、補完誤差関数の逆関数に関する解析的不等式を用いて導出する。
• Craigの公式を用いた補完誤差関数の厳密な証明および$\operatorname{inverfc}(y)$の逆関数に関する境界を用いて、提案されたバウンドを正当化する。
• 提案されたメカニズムを古典的メカニズムおよび最適$\sigma_{\texttt{DP-OPT}}$と比較し、理論的および数値的分析を通じて性能向上を示す。
• $(\epsilon,\delta)$-確率的微分プライバシー（pDP）についての包括的議論を含み、標準的DPとの関係を明確にし、対応するノイズ要件を導出する。

実験結果

リサーチクエスチョン

• RQ1 なぜ広く用いられている古典的ガウスメカニズム（Dwork-2006およびDwork-2014）は、大きな$\epsilon$値に対して$(\epsilon,\delta)$-微分プライバシーを達成できないのか。
• RQ2 大きな$\epsilon$に対して、最適ノイズパラメータ$\sigma_{\texttt{DP-OPT}}$の正しい漸近的スケーリングは何か。また、古典的仮定の$\Theta(1/\epsilon)$とはどのように異なるのか。
• RQ3 すべての$\epsilon > 0$に対して有効であり、$(\epsilon,\delta)$-微分プライバシーを保証する$\sigma_{\texttt{DP-OPT}}$の閉形式上界を導出できるか。
• RQ4 提案されたメカニズムは、古典的メカニズムおよび最適$\sigma_{\texttt{DP-OPT}}$と比較して、性能面でどのように異なるのか。
• RQ5 $(\epsilon,\delta)$-微分プライバシーと$(\epsilon,\delta)$-確率的微分プライバシー（pDP）の関係は何か。ノイズ要件はどのように異なるのか。

主な発見

• 古典的ガウスメカニズム（Dwork-2006およびDwork-2014）は、大きな$\epsilon$に対して、必要な$\sigma_{\texttt{DP-OPT}}$未満のノイズレベルを使用しているため、$(\epsilon,\delta)$-微分プライバシーを保証しない。
• 大きな$\epsilon$に対して、最適ノイズパラメータは$\Theta(1/\sqrt{\epsilon})$のスケーリングを示すが、古典的仮定の$\Theta(1/\epsilon)$とは異なる。
• 提案された$\sigma_{\texttt{DP-OPT}}$の閉形式上界は、すべての$\epsilon > 0$に対して$(\epsilon,\delta)$-微分プライバシーを保証し、古典的バウンドよりもタイトであるため、性能が向上する。
• 新しいメカニズムは、古典的メカニズムよりも顕著に優れた性能を示し、同時に計算コストの高い最適$\sigma_{\texttt{DP-OPT}}$に非常に近い性能を達成する。
• 著者らは、$\sigma_{\texttt{Dwork-2006}} = \sqrt{2\ln(2/\delta)} \cdot \Delta / \epsilon$および$\sigma_{\texttt{Dwork-2014}} = \sqrt{2\ln(1.25/\delta)} \cdot \Delta / \epsilon$が、$\delta$が小さくても大きな$\epsilon$に対して不十分であることを形式的に証明した。
• 著者らは、新しい上界$\operatorname{inverfc}(y) < \sqrt{\ln\left(\frac{2}{\sqrt{8y+1}-1}\right)}$を導出し、これを用いて新しい閉形式ノイズバウンドを構築した。