[論文レビュー] Optimality of the Laplace Mechanism in Differential Privacy

Fragkiskos Koufogiannis, Shuo Han+1 more|arXiv (Cornell University)|Mar 31, 2015

Privacy-Preserving Technologies in Data参考文献 13被引用数 20

ひとこと要約

この論文は、度合い空間におけるリプシッツプライバシー（Lipschitz privacy）—メトリック空間における微分プライバシーのより厳しいバージョン—を定式化し、ℓ₁およびℓ₂ノルムの隣接関係の両方において、アイデンティティクエリに対して平均二乗誤差を最小化するラプラス機構の最適性を確立する。さらに、高次元およびマルチユーザーシナリオにおける最適なメカニズムを導出し、回転不変プライバシー制約下で個々のデータベクトルのℓ₂ノルムに比例するノイズを有するラプラス機構が最小誤差を達成することを示す。

ABSTRACT

In the highly interconnected realm of Internet of Things, exchange of sensitive information raises severe privacy concerns. The Laplace mechanism -- adding Laplace-distributed artificial noise to sensitive data -- is one of the widely used methods of providing privacy guarantees within the framework of differential privacy. In this work, we present Lipschitz privacy, a slightly tighter version of differential privacy. We prove that the Laplace mechanism is optimal in the sense that it minimizes the mean-squared error for identity queries which provide privacy with respect to the $\ell_{1}$-norm. In addition to the $\ell_{1}$-norm which respects individuals' participation, we focus on the use of the $\ell_{2}$-norm which provides privacy of high-dimensional data. A variation of the Laplace mechanism is proven to have the optimal mean-squared error from the identity query. Finally, the optimal mechanism for the scenario in which individuals submit their high-dimensional sensitive data is derived.

研究の動機と目的

• 度合い空間における微分プライバシーのより厳しいバージョンとしてリプシッツプライバシーを形式化すること。
• アイデンティティクエリに対してℓ₁ノルムプライバシー制約下で平均二乗誤差を最小化するラプラス機構の最適性を証明すること。
• 最適性の結果を高次元データ（例：GPSトレース）のプライバシーを捉えるためにℓ₂ノルム隣接関係に拡張すること。
• 複数のユーザが高次元プライベートデータを寄与する状況における最適プライベートメカニズムを導出すること。
• 凸最適化における双対性を用いて最適性を確立し、構築されたプライマル・デュアル解においてゼロの双対ギャップを示すこと。

提案手法

• ℓ₁およびℓ₂ノルムに基づく隣接関係を組み込んだ、度合い空間への微分プライバシーの適応としてリプシッツプライバシーを形式化する。
• 入力に依存しないノイズ追加としてプライベートメカニズムをモデル化する：Q(u) = u + V、ここでVは分布gに従う。
• プライバシー制約を満たす条件下でE[‖V‖²]を最小化する制約付き最適化問題として最適メカニズム設計を定式化する。
• 凸双対性を用いて、ゼロの双対ギャップを持つ妥当なプライマルおよびデュアル解を構築し、最適性を証明する。
• ℓ₂ノルムの場合、ノイズの大きさがガンマ分布に従い、方向が球面上で一様となるラプラスメカニズムの変種を導出する。
• 複数ユーザの設定に拡張するため、結合データ空間をℝⁿᵐとモデル化し、個々のプライバシーとグループプライバシーを保つ合成隣接関係を定義する。

実験結果

リサーチクエスチョン

• RQ1 実数値空間におけるアイデンティティクエリに対して、ℓ₁ノルム微分プライバシー下で平均二乗誤差を最小化するラプラス機構は最適であるか？
• RQ2 高次元データに対してℓ₂ノルムプライバシー制約下で、ラプラスメカニズムの変種が最適な正確性を達成できるか？
• RQ3 複数の個人が高次元プライベートデータを寄与する状況では、最適プライベートメカニズムは何か？また、隣接関係の定義は設計にどのように影響するか？
• RQ4 凸最適化における双対性は、微分プライバシーにおけるノイズメカニズムの最適性をどのように証明できるか？
• RQ5 個々の参加およびデータレベルのプライバシーを保つ合成隣接関係によって定義されるプライバシー下でも、ラプラス機構は最適のまま保たれるか？

主な発見

• アイデンティティクエリに対してℓ₁ノルム隣接関係下で、入力に依存しないすべてのメカニズムの中でラプラス機構が平均二乗誤差を最小化する。
• ℓ₂ノルムプライバシーの下では、ノイズの大きさがガンマ分布に従い、方向が球面上で一様となるラプラスメカニズムの変種が最適である。
• マルチユーザーハイパラメトリックデータの最適メカニズムは、各ユーザのデータに独立したℓ₂ノルムに基づくノイズを追加し、密度がexp(−ε∑‖vᵢ‖₂)に比例する。
• ℓ₂ノルム下での最適メカニズムの平均二乗誤差は、nm(m+1)/ε²で下限され、この下限は導出されたメカニズムによって達成される。
• ゼロの双対ギャップを持つプライマル・デュアル解のペアが構築され、凸最適化における強い双対性により最適性が証明される。
• 個々の参加および高次元データプライバシーを保つ合成隣接関係に対しても結果は拡張可能であり、最適メカニズムは個々のℓ₂ベースのラプラスメカニズムの積である。