[論文レビュー] Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising

Borja Balle, Yu-Xiang Wang|arXiv (Cornell University)|May 16, 2018

Privacy-Preserving Technologies in Data参考文献 15被引用数 80

ひとこと要約

この論文は、Gaussian CDF を用いた正確なノイズキャリブレーションを持つ解析的Gaussian機構を導入し、それを適応型デノイジング後処理と組み合わせて、差分プライバシー下での精度を向上させる。

ABSTRACT

The Gaussian mechanism is an essential building block used in multitude of differentially private data analysis algorithms. In this paper we revisit the Gaussian mechanism and show that the original analysis has several important limitations. Our analysis reveals that the variance formula for the original mechanism is far from tight in the high privacy regime ($\varepsilon o 0$) and it cannot be extended to the low privacy regime ($\varepsilon o \infty$). We address these limitations by developing an optimal Gaussian mechanism whose variance is calibrated directly using the Gaussian cumulative density function instead of a tail bound approximation. We also propose to equip the Gaussian mechanism with a post-processing step based on adaptive estimation techniques by leveraging that the distribution of the perturbation is known. Our experiments show that analytical calibration removes at least a third of the variance of the noise compared to the classical Gaussian mechanism, and that denoising dramatically improves the accuracy of the Gaussian mechanism in the high-dimensional regime.

研究の動機と目的

• 従来の解析からの緩みを除去することで、差分プライバシーのGaussian機構の有用性を向上させる。
• 尾部境界ではなく Gaussian CDF を用いてGaussianノイズ分散を正確に較正する。
• 既知のノイズ分布を利用して精度を向上させるポスト処理デノイジング手順を導入する。
• 解析的な較正がノイズ分散を低減し、デノイジングが高次元で顕著な精度向上をもたらすことを示す。

提案手法

• Gaussian CDF Phi を用いて表現されるGaussianプライバシーロスの必要十分条件を導出する。
• Phi を基にした制約を解くことによって Delta, epsilon, delta から較正されたノイズレベル sigma を計算する Algorithm 1 (Analytic Gaussian Mechanism) を開発する。
• 古典的な尾部境界ベースの解析が最適でないことを示し、特に epsilon -> 0 のときに数値的に安定な較正手順を提供する。
• Gaussian リリースを前提とした推定誤差を改善するポスト処理デノイジング推定量（Bayesian および minimax/adaptive）を導入する、DP を侵害せずに。
• Phi および誤差関数ベースの計算を用いた解析的較正の実装に関する実用的ガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian CDF を直接使用して尾部境界の代わりにGaussian機構を最適に較正できるか？
• RQ2 Gaussianノイズ付与出力のポスト処理デノイジングは、プライバシーを損なうことなくDPの有用性を改善するか？
• RQ3 解析的較正と適応デノイジングが、プライバシー制約（epsilon が小さいから大きいまで）の範囲で、理論的および実践的にどのような利点をもたらすか？

主な発見

• Gaussian CDF を用いた解析的較正は、古典的機構と比較して必要なノイズ分散を大幅に減らし、epsilon が小さくなるにつれて改善が観測される。
• ポスト処理デノイジング（James-Stein および soft-thresholding）は高次元での平均推定精度を一貫して改善し、未知のパラメータに適応する。
• 実データ（NYC タクシー熱マップ）および合成データに適用したデノイジング手法は、標準的なDPリリースよりも顕著な実用的有用性の向上を示す。
• 解析的機構は principled, exact calibration (Algorithm 1) を提供し、DPを保持しつつ従来より低いノイズレベルを達成する。
• 変換ドメイン（例: グラフウェーブレット）やトレンドフィルタリングを用いたデノイジングは、構造化された高次元出力においてさらなる精度向上をもたらす。