[論文レビュー] Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising

Borja Balle, Yu-Xiang Wang|arXiv (Cornell University)|May 16, 2018

Privacy-Preserving Technologies in Data被引用数 129

ひとこと要約

本論文は、CDFベースの分散校正を用いた解析的ガウシアンメカニズムを差分プライバシーに導入し、さらなる後処理のデノイジングを追加して精度を向上させ、特に高次元での改善を図る。

ABSTRACT

The Gaussian mechanism is an essential building block used in multitude of differentially private data analysis algorithms. In this paper we revisit the Gaussian mechanism and show that the original analysis has several important limitations. Our analysis reveals that the variance formula for the original mechanism is far from tight in the high privacy regime ($\\varepsilon \ o 0$) and it cannot be extended to the low privacy regime ($\\varepsilon \ o \\infty$). We address these limitations by developing an optimal Gaussian mechanism whose variance is calibrated directly using the Gaussian cumulative density function instead of a tail bound approximation. We also propose to equip the Gaussian mechanism with a post-processing step based on adaptive estimation techniques by leveraging that the distribution of the perturbation is known. Our experiments show that analytical calibration removes at least a third of the variance of the noise compared to the classical Gaussian mechanism, and that denoising dramatically improves the accuracy of the Gaussian mechanism in the high-dimensional regime.

研究の動機と目的

• 従来のガウス機構が高プライバシーと低プライバシーの両方の領域で抱える限界を特定する。
• 正確なCDFベースの校正を用いた解析的ガウス機構を(ε,δ)-DPのために開発する。
• ポスト処理デノイジングがプライバシーを損なうことなく有用性を向上させられることを示す。
• 解析的校正とデノイジングを実装するための実用的なアルゴリズムとガイドラインを提供する。
• 合成データ実験と実データアプリケーションを通じて有用性の向上を実証する。

提案手法

• 定理8に対応する、(ε,δ)-DPを保証するガウスノイズの正確なCDFベースの校正条件を開発する。
• 尾部境界に基づく解析を、最適なσを計算するための明示的なガウスCDF式に置き換える（アルゴリズム1）。
• プライバシー損失の確率変数を含む必要十分条件（定理5）によってDP同値性を証明する。
• Φを用いてσを計算し数値安定性を扱う実装可能なアルゴリズムを提示する（定理9）。
• 既知のノイズ分布を活用するポスト処理デノイジング戦略（ベイズ法とミニマックス法）を提案する（定理10、定理11、定理12）。
• 平均推定とNYCタクシーのヒートマップに対するデノイジングの利得を実証する（第5節）。

実験結果

リサーチクエスチョン

• RQ1 古典的なガウス機構を、εベースの尾部境界よりもガウスCDFを用いてより厳密に校正できるか？
• RQ2 フルDP条件を考慮したとき、ガウス機構が(ε,δ)-DPを達成するのに必要な正確なσはいくらか？
• RQ3 ガウスノイズを加えた出力のポスト処理デノイジングは、特に高次元でプライバシーを損なうことなく有用性を改善するか？
• RQ4 解析的校正とデノイジングは合成データや実データセット（例：NYCタクシーのヒートマップ）でどのように機能するか？

主な発見

• 解析的ガウス機構は、σをガウスCDFで校正することによりノイズ分散を低減し、より厳密なプライバシーと有用性のトレードオフを実現する（ε→0のとき分散の著しい低減）。
• デノイジングのGaussianノイズ出力をベイズ法やミニマックス戦略で行うと、高次元および平均推定で大幅な精度向上をもたらす。
• ソフト閾値デノイジングは未知の関数クラスへよく適応し、Lp-ボールにおいてほぼ最適なリスクを提供し、DPリリースを改善する。
• 実データ実験では、ポスト処理を用いたプライベートな平均推定とNYCタクシーのヒートマップで顕著な有用性の向上を示す。