[論文レビュー] A statistical framework for differential privacy

Larry Wasserman, Shuheng Zhou|arXiv (Cornell University)|Nov 16, 2008

Privacy-Preserving Technologies in Data参考文献 33被引用数 6

ひとこと要約

本稿は、公開されたデータ分布が真のデータ分布に収束する速度を分析することにより、微分プライバシー機構の評価のための統計的枠組みを構築する。微分プライバシーの正確さと小さな球確率の間の重要な関係を確立し、指数型メカニズムの性能が真の分布の周囲の小さな球内での経験的分布の集中速度に支配されることを示す。

ABSTRACT

One goal of statistical privacy research is to construct a data release mechanism that protects individual privacy while preserving information content. An example is a {\em random mechanism} that takes an input database $X$ and outputs a random database $Z$ according to a distribution $Q_n(\cdot|X)$. {\em Differential privacy} is a particular privacy requirement developed by computer scientists in which $Q_n(\cdot |X)$ is required to be insensitive to changes in one data point in $X$. This makes it difficult to infer from $Z$ whether a given individual is in the original database $X$. We consider differential privacy from a statistical perspective. We consider several data release mechanisms that satisfy the differential privacy requirement. We show that it is useful to compare these schemes by computing the rate of convergence of distributions and densities constructed from the released data. We study a general privacy method, called the exponential mechanism, introduced by McSherry and Talwar (2007). We show that the accuracy of this method is intimately linked to the rate at which the probability that the empirical distribution concentrates in a small ball around the true distribution.

研究の動機と目的

• 計算的定義を超えて、分布収束を通じて利用可能性を評価するため、微分プライバシーの統計的解釈を提供すること。
• 公開されたデータからの経験的分布が真のデータ分布に収束する速度を測定することで、プライバシー保護型データ公開メカニズムを評価・比較すること。
• 指数型メカニズムの正確さと、元の分布の小さな球確率との間の関係を形式化すること。
• 微分プライバシー制約下での密度推定器および分布推定器の収束速度に対する理論的限界を確立すること。
• プライバシー機構の収束速度が、特に滑らかさパラメータと小さな球確率を通じて、データ分布の正規性に根本的に関連していることを示すこと。

提案手法

• 経験的分布および密度が真の分布に収束する速度を測定するために、コルモゴロフ＝スミルノフ距離とL2リスクを用いる。
• 小さな球確率理論を適用して、真の分布の周囲の小さな近傍における経験的測度の集中を分析し、これとプライバシー機構の正確さを結びつける。
• 一般用途のプライバシー保護手法として指数型メカニズムを採用し、その正確さがデータ分布の小さな球確率の速度に依存することを示す。
• 正規直交展開と共分散行列の固有値の上限を用いて、微分プライバシー下での密度および分布推定器の収束速度を導出する。
• 推定誤差を制御するために切断および射影技術を用い、正規性条件のもとで切断効果が漸近的に無視可能であることを示す。
• 密度推定のリスクに対する理論的限界を確立し、$ n^{-2 heta/(2 heta+1)} $ のオーダーで収束速度が得られることを示す。ここで $ heta $ は分布の正規性に関連する滑らかさパラメータである。

実験結果

リサーチクエスチョン

• RQ1 経験的分布の統計的収束速度を用いて、微分プライバシー機構の利用可能性をどのように評価できるか？
• RQ2 指数型メカニズムの正確さと、元のデータ分布の小さな球確率との関係は何か？
• RQ3 データ分布の滑らかさは、プライバシー保護推定器の収束速度にどのように影響するか？
• RQ4 微分プライバシー制約下での密度および分布推定の正確さに理論的限界は存在するか？
• RQ5 小さな球確率を用いて、微分プライバシーによるデータ公開メカニズムの性能に対する非漸近的限界を導出できるか？

主な発見

• 微分プライバシーのデータからの経験的分布の収束速度は、小さな球確率によって支配され、集中が速いほど利用可能性が向上する。
• 指数型メカニズムの正確さは、経験的分布が真の分布の周囲の小さな球内に集中する速度と密接に関連している。
• ホルダー滑らかさパラメータ $ \gamma $ を持つ分布に対して、密度推定のリスクは $ O(n^{-2\gamma/(2\gamma+1)}) $ の速度で収束する。これは与えられた滑らかさクラスにおいて最適である。
• 証明により、$ k \geq n $ のとき、切断および射影誤差が全体のリスクに与える寄与は無視可能であることが示され、漸近的整合性が保証される。
• 推定係数の共分散行列の最大固有値は有界のまま保たれ、推定手順の安定性を支持する。
• 本稿は、滑らかさ仮定のもとで、密度推定の最小最大最適速度が $ n^{-2\gamma/(2\gamma+1)} $ であることを確立した。