[論文レビュー] Extremal Mechanisms for Local Differential Privacy

Peter Kairouz, Sewoong Oh+1 more|arXiv (Cornell University)|Jul 4, 2014

Privacy-Preserving Technologies in Data参考文献 35被引用数 266

ひとこと要約

本稿は、局所的微分プライバシーにおける最適化プライバシーモデルとして階段型メカニズムを導入し、情報理論的ユーティリティの広いクラスにおいて、プライバシー制約下でのユーティリティを最大化することを証明している。プライバシーとユーティリティの最適化問題は、有限次元の線形計画問題に還元可能であり、二値およびランダム化応答メカニズムは、低プライバシーおよび高プライバシーの領域で普遍的に最適であることが示された。

ABSTRACT

Local differential privacy has recently surfaced as a strong measure of privacy in contexts where personal information remains private even from data analysts. Working in a setting where both the data providers and data analysts want to maximize the utility of statistical analyses performed on the released data, we study the fundamental trade-off between local differential privacy and utility. This trade-off is formulated as a constrained optimization problem: maximize utility subject to local differential privacy constraints. We introduce a combinatorial family of extremal privatization mechanisms, which we call staircase mechanisms, and show that it contains the optimal privatization mechanisms for a broad class of information theoretic utilities such as mutual information and $f$-divergences. We further prove that for any utility function and any privacy level, solving the privacy-utility maximization problem is equivalent to solving a finite-dimensional linear program, the outcome of which is the optimal staircase mechanism. However, solving this linear program can be computationally expensive since it has a number of variables that is exponential in the size of the alphabet the data lives in. To account for this, we show that two simple privatization mechanisms, the binary and randomized response mechanisms, are universally optimal in the low and high privacy regimes, and well approximate the intermediate regime.

研究の動機と目的

• データ分析における局所的微分プライバシーと統計的ユーティリティの根本的トレードオフを扱う。
• 局所的微分プライバシー制約下でのユーティリティを最大化する制約付き最適化問題として、プライバシーとユーティリティのトレードオフを定式化する。
• 二値およびランダム化応答メカニズムを含む、組合せ的性質を持つメカニズムの族である「階段型メカニズム」が、広いクラスのユーティリティ関数に対して最適解を含むことを同定する。
• プライバシーとユーティリティの最適化問題が、有限次元の線形計画問題に還元可能であることを確立する。
• 低プライバシー領域（ε → 0）および高プライバシー領域（ε → ∞）における二値およびランダム化応答メカニズムの最適性を特徴付ける。

提案手法

• 任意の出力が二つの入力に対して条件付き確率の比が e^ε で有界であるという条件により、局所的微分プライバシーを定義する。
• 構造化された出力確率を持つ、組合せ的性質を持つプライバシズムメカニズムの族として、階段型メカニズムを導入する。
• 任意のユーティリティ関数およびプライバシー水準 ε に対して、最適メカニズムが有限次元の線形計画問題の解であることを証明する。
• ユーティリティ関数の劣線形性を用いてデータ処理不等式を確立し、後処理がユーティリティを増加させないことを示す。
• ε が小さいときのユーティリティの漸近的挙動を分析し、ランダム化応答の最適性条件を導出する。
• 高プライバシー領域において、ε ≥ ε* のとき、ランダム化応答が相互情報量の上界に達することを示す。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー制約下でユーティリティを最大化する最適なプライバシズムメカニズムは何か？
• RQ2 どのクラスのユーティリティ関数に対して、階段型メカニズムが最適性を達成するか？
• RQ3 プライバシーとユーティリティの最適化問題は、有限次元の線形計画問題に還元可能か？
• RQ4 二値およびランダム化応答メカニズムは、低プライバシーおよび高プライバシー領域で普遍的に最適か？
• RQ5 中程度のプライバシー領域では、単純なメカニズムが最適解をどの程度近似できるか？

主な発見

• 階段型メカニズムは、相互情報量や f-発散度を含む、すべての情報理論的ユーティリティ関数の最適プライバシズムメカニズムを含む。
• プライバシーとユーティリティの最大化問題は、有限次元の線形計画問題に等価であり、最適解は階段型メカニズムである。
• 二値およびランダム化応答メカニズムは、低プライバシー領域（ε → 0）および高プライバシー領域（ε → ∞）で普遍的に最適である。
• ε ≥ ε* のとき、ランダム化応答メカニズムは相互情報量の上界に達し、高プライバシー領域における最適性が証明される。
• 任意のユーティリティ関数およびプライバシー水準 ε に対して、最適メカニズムは入力アルファベットサイズの指数関数的増加を示す変数を持つ線形計画問題の解である。
• 階段型メカニズムは、すべてのプライバシー水準において最適メカニズムを完全に特徴づけ、単純なメカニズムは中程度のプライバシー領域において最適解をよく近似する。