[論文レビュー] The Price of Selection in Differential Privacy

Mitali Bafna, Jonathan Ullman|arXiv (Cornell University)|Feb 9, 2017

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この論文は、微分プライバシーにおけるトップ-$k$選択に必要なサンプル複雑性のタイトな下界を確立し、誤差がサンプリング誤差 $\sqrt{\log d / n}$ より小さい高精度領域において $n = \Omega(k\log d)$ が必須であることを証明している。この結果は、$k$ 個のトップカラムを特定するには、それらの値を個別に推定するのよりもはるかに多くのデータが必要であることを示しており、微分プライバシーにおける選択のコストに関する根本的なギャップを解消した。

ABSTRACT

In the differentially private top-$k$ selection problem, we are given a dataset $X \in \{\pm 1\}^{n imes d}$, in which each row belongs to an individual and each column corresponds to some binary attribute, and our goal is to find a set of $k \ll d$ columns whose means are approximately as large as possible. Differential privacy requires that our choice of these $k$ columns does not depend too much on any on individual's dataset. This problem can be solved using the well known exponential mechanism and composition properties of differential privacy. In the high-accuracy regime, where we require the error of the selection procedure to be to be smaller than the so-called sampling error $α\approx \sqrt{\ln(d)/n}$, this procedure succeeds given a dataset of size $n \gtrsim k \ln(d)$. We prove a matching lower bound, showing that a dataset of size $n \gtrsim k \ln(d)$ is necessary for private top-$k$ selection in this high-accuracy regime. Our lower bound is the first to show that selecting the $k$ largest columns requires more data than simply estimating the value of those $k$ columns, which can be done using a dataset of size just $n \gtrsim k$.

研究の動機と目的

• サンプリング誤差未満の誤差で動作する微分プライバシー付きトップ-$k$選択に必要な最小サンプルサイズを特定すること。
• 既存の上界と既知の下界の間のギャップを埋めること。
• トップ $k$ の属性を特定するにすら、選択は推定よりも多くのデータを必要とすることを示すこと。
• 標準的なメカニズム（例：指数機構）の $\sqrt{k}\log d / n$ の誤差が漸近的に最適であることを確立すること。
• トレーシング攻撃を情報理論的下界を導出するためのツールとして用いること。

提案手法

• 攻撃者が、プライベートなトップ-$k$アルゴリズムの出力に基づいて、ターゲット個人がデータセットに含まれているかどうかを特定する必要があるトレーシング攻撃を構築する。
• トップ-$k$選択問題をモデル化するため、$k$ 個のカラムが平均 $\lambda$ を持ち、残りは一様にランダムなデータセットの分布を用いる。
• 正の相関を持つ確率変数にヘフディングの不等式を適用し、閾値未満の個体が多すぎることの確率を抑え込む。
• データ行列内の正の相関を活用することで、独立性の仮定よりもタイトな尾部確率の境界を導出する。
• 一部のエントリが $-1$ であると条件づけると、他のエントリの期待値が上昇することを活用し、まれな事象の確率を抑え込む。
• 確率 $\mathbb{P}[\bigwedge_{i\in R} E_i] \leq \rho^{|R|}$ の境界を導出し、$|R|$ 個の個体がすべてトップ-$k$ ベクトルとの内積が低くなる確率が指数関数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー付きアルゴリズムがサンプリング誤差未満の誤差でトップ-$k$カラムを選択できるための最小サンプルサイズ $n$ は何か？
• RQ2 なぜプライベートな $k$ カラムの選択は、それらの値を個別に推定するのよりもデータコストが高いのか？
• RQ3 トレーシング攻撃を用いて、微分プライバシーにおける選択問題のタイトな下界を導出できるか？
• RQ4 指数機構の $\sqrt{k}\log d / n$ の誤差は、トップ-$k$選択において最適か？
• RQ5 誤差境界の $\log d$ 要素は根本的な制限を示しているのか、それとも取り除けるのか？

主な発見

• 微分プライバシー付きトップ-$k$選択アルゴリズムは、$n = \Omega(k\log d)$ でなければ、誤差 $\alpha = \Omega(\sqrt{\log d / n})$ 未満にできない。
• サンプル複雑性の下界 $n = \Omega(k\log d)$ は、指数機構が達成する上界と一致しており、タイトであることが証明された。
• プライベートな $k$ カラムの選択には $\Omega(k\log d)$ のサンプルが必要であるが、$k$ 値のプライベート推定のみでは $\Omega(k)$ のサンプルで十分である。
• 高精度領域では $\log d$ 要素は避けられず、選択の根本的コストを示している。
• 下界はトレーシング攻撃を介して導出されており、選択のプライバシーコストが推定よりも厳密に高いことを示している。
• 解析により、データ行列内の正の相関を活用することで、よりタイトな集中不等式が得られ、これが証明に不可欠であることが明らかになった。