[論文レビュー] Privacy and Utility Tradeoff in Approximate Differential Privacy

Quan Geng, Wei Ding+2 more|arXiv (Cornell University)|Oct 1, 2018

Privacy-Preserving Technologies in Data参考文献 18被引用数 12

ひとこと要約

本稿では、単一の実数値クエリに対する $(\epsilon,\delta)$-微分プライバシーを満たす新しいノイズ追加メカニズムクラス、切り捨てラプラス機構を提案する。線形計画法の双対性に基づく下界と、ラプラス分布の尾部を切り捨てる独自のメカニズム設計を組み合わせることで、著者らは高プライバシー領域において最適であることを証明した。これにより、従来の定数倍のギャップが解消され、すべてのプライバシー水準において最適なガウスメカニズムを上回る性能を示した。

ABSTRACT

We characterize the minimum noise amplitude and power for noise-adding mechanisms in $(ε, δ)$-differential privacy for single real-valued query function. We derive new lower bounds using the duality of linear programming, and new upper bounds by proposing a new class of $(ε,δ)$-differentially private mechanisms, the \emph{truncated Laplacian} mechanisms. We show that the multiplicative gap of the lower bounds and upper bounds goes to zero in various high privacy regimes, proving the tightness of the lower and upper bounds and thus establishing the optimality of the truncated Laplacian mechanism. In particular, our results close the previous constant multiplicative gap in the discrete setting. Numeric experiments show the improvement of the truncated Laplacian mechanism over the optimal Gaussian mechanism in all privacy regimes.

研究の動機と目的

• 離散設定における $(\epsilon,\delta)$-微分プライバシーのノイズ追加メカニズムにおける定数倍のギャップを解消すること。
• 線形計画法の双対性を用いて、実数値クエリ関数における最小ノイズ振幅および最小ノイズパワーの新しい下界を導出すること。
• ノイズ要件の上界をより厳しく抑える新しいメカニズムクラス、切り捨てラプラスを設計すること。
• 高プライバシー領域における下界と上界の間の乗法的ギャップが消えることにより、切り捨てラプラスメカニズムの最適性を確立すること。
• すべてのプライバシー領域において、最適なガウスメカニズムと比較して優れた実用性（低いノイズ振幅およびノイズパワー）を数値的に示すこと。

提案手法

• 連続的なノイズ確率分布および損失関数を離散化することで、関数的最適化問題を線形計画問題に変換する。
• 線形計画法の双対性を用いて、$(\epsilon,\delta)$-微分プライバシー下での実数値クエリ関数における最小ノイズ振幅および最小ノイズパワーの新しい下界を導出する。
• 小さなノイズでは急速な減衰を示し、大きなノイズで急激に切り捨てられるようにすることで、重い尾部を回避する切り捨てラプラスメカニズムを提案する。
• ノイズパワーを最小化するように、$(\epsilon,\delta)$-微分プライバシーを満たすように切り捨て点をキャリブレーションする。
• 切り捨てラプラスメカニズムを、尾部の上限ではなくガウス累積分布関数（CDF）を用いてキャリブレーションした最適なガウスメカニズムと比較する。
• $\epsilon \in [10^{-4}, 10]$ および $\delta \in [10^{-6}, 0.1]$ の範囲で数値実験を実施し、ノイズ振幅およびノイズパワーの比を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の実数値クエリ関数における $(\epsilon,\delta)$-微分プライバシーを満たすメカニズムのノイズ振幅およびノイズパワーの根本的下限は何か？
• RQ2 ガウスメカニズムを上回るノイズ要件のよりタイトな上界を達成できる新しいノイズ追加メカニズムを設計できるか？
• RQ3 導出された下界と上界の間の乗法的ギャップが高プライバシー領域で1に収束するか？ これは最適性を示唆する。
• RQ4 すべてのプライバシー領域において、切り捨てラプラスメカニズムは最適なガウスメカニズムと比較してノイズ効率性に優れているか？
• RQ5 離散設定における従来の研究で知られていた定数倍のギャップは、連続的な実数値ケースにおいて解消可能か？

主な発見

• ノイズ振幅およびノイズパワーの新しい下界と上界の間の乗法的ギャップは、$\epsilon \to 0$ において1に収束し、境界のタイトさが証明された。
• $\epsilon = \delta \to 0$ の領域において、ノイズパワーの下界と上界の比は1に収束し、切り捨てラプラスメカニズムの最適性が確認された。
• 数値実験により、すべてのプライバシー領域において、最適なガウスメカニズムと比較して、切り捨てラプラスメカニズムがノイズ振幅およびノイズパワーを低減していることが示された。
• この改善は、小さな値におけるノイズ密度の急速な減衰および、切り捨てによる重い尾部の排除に起因する。
• 下界は離散化と線形計画法の双対性を用いて導出され、整数値クエリ関数から実数値クエリ関数へと先行研究を拡張した。
• Geng & Viswanath (2016a) で確立された離 discrete 設定における従来の定数倍ギャップが、本研究で解消された。