[論文レビュー] Elliptical Perturbations for Differential Privacy

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用数 4

ひとこと要約

本稿は、有限次元および無限次元空間における微分プライバシー（DP）のための楕円分布を調査する。有限次元では特定の条件下で楕円ノイズが $\epsilon$-DP を達成できるが、無限次元空間では楕円分布はすべての $\epsilon$-DP を達成できない。これは、このような設定では楕円分布とガウス過程が等価であるため、$(\epsilon,\delta)$-DP しか達成できない。

ABSTRACT

We study elliptical distributions in locally convex vector spaces, and determine conditions when they can or cannot be used to satisfy differential privacy (DP). A requisite condition for a sanitized statistical summary to satisfy DP is that the corresponding privacy mechanism must induce equivalent measures for all possible input databases. We show that elliptical distributions with the same dispersion operator, $C$, are equivalent if the difference of their means lies in the Cameron-Martin space of $C$. In the case of releasing finite-dimensional projections using elliptical perturbations, we show that the privacy parameter $\ep$ can be computed in terms of a one-dimensional maximization problem. We apply this result to consider multivariate Laplace, $t$, Gaussian, and $K$-norm noise. Surprisingly, we show that the multivariate Laplace noise does not achieve $\ep$-DP in any dimension greater than one. Finally, we show that when the dimension of the space is infinite, no elliptical distribution can be used to give $\ep$-DP; only $(ε,δ)$-DP is possible.

研究の動機と目的

• 局所凸ベクトル空間における楕円分布が、どのような条件下で微分プライバシーを満たすかを特定すること。
• 楕円ノイズによる微分プライバシーの設定で誘導される確率測度の等価性を分析すること。
• 無限次元設定において、楕円ノイズが純粋な $\epsilon$-DP を達成できるかを調査すること。
• 多変量および関数データにラプラス機構を拡張し、依存構造と尾部挙動をカスタマイズ可能な楕円分布を用いること。
• 無限次元関数空間において、楕円メカニズムが $(\epsilon,\delta)$-DP を達成するための条件を確立すること。

提案手法

• 本稿は、局所凸ベクトル空間における楕円分布を研究し、カミン・マーティン空間を介した測度の等価性に注目する。
• 同じ分散作用素 $C$ を持つ2つの楕円分布が等価となる条件を導出し、これは平均の差が $C$ のカミン・マーティン空間に属するかどうかに依存する。
• 有限次元の要約統計量に対しては、プライバシーのパラメータ $\epsilon$ を1次元の最適化問題に簡略化する。
• 多変量ラプラス、スチューデントの $t$、ガウス、$K$-ノルムノイズにこのフレームワークを適用し、多変量ラプラスが次元 >1 で $\epsilon$-DP を達成できないことを示す。
• 無限次元空間では、任意の楕円分布がガウス混合に等価であり、したがって $\epsilon$-DP を達成できないことを証明する。
• 混合分布のモーメント母関数を用いて $\delta$ を導出し、ガウス混合を用いた $(\epsilon,\delta)$-DP の保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 同じ分散作用素を持つ2つの楕円分布が、局所凸空間内で等価となる条件は何か？
• RQ2 次元が1より大きい場合、多変量ラプラスノイズは $\epsilon$-DP を達成できるか？
• RQ3 無限次元関数空間において、楕円ノイズを用いて $\epsilon$-DP を達成することは可能か？
• RQ4 楕円過程の混合構造は、無限次元におけるプライバシー保証にどのように影響するか？
• RQ5 無限次元設定において、$(\epsilon,\delta)$-DP を満たしつつ、ガウスメカニズムよりも優れたユーティリティを達成できるか？

主な発見

• 同じ分散作用素 $C$ を持つ楕円分布は、平均の差が $C$ のカミン・マーティン空間に属する場合に等価である。
• 有限次元設定では、プライバシーのパラメータ $\epsilon$ を1次元の最大化問題に還元できる。
• 多変量ラプラス分布は、次元が1より大きい任意の次元で $\epsilon$-DP を達成できない。
• 無限次元空間では、いかなる楕円分布も $\epsilon$-DP を達成できない。$(\epsilon,\delta)$-DP のみが可能である。
• 楕円過程における混合変数 $V$ は、洗練済み出力 $\widetilde{T}_D$ から回復可能であり、このメカニズムは本質的にガウス混合である。
• $(\epsilon,\delta)$-DP において、$\sigma^2 \geq \frac{2\log(2/\delta')}{\epsilon^2}\Delta^2$ を満たすことでプライバシーが保証される。ここで $\delta'$ は混合変数 $V$ のモーメント母関数を用いて調整される。