[論文レビュー] Differential Privacy with Compression

Shuheng Zhou, Katrina Ligett+1 more|ArXiv.org|Jan 10, 2009

Privacy-Preserving Technologies in Data参考文献 17被引用数 9

ひとこと要約

本稿では、ガウス確率的行列によるランダムな線形圧縮を用いて、統計的データベースにおける微分プライバシーを達成する手法を提案する。この手法により、合成データの有用性を保ちつつ、PCA や他の共分散に基づく解析においてもプライバシーを維持できる。理論的保証として、圧縮されたデータがプライバシーを保持しつつ、PCA や共分散解析の精度を維持することを示し、行列ノルムの境界と測度の切断技術を用いてプライバシーと有用性のトレードオフを定量的に評価する。

ABSTRACT

This work studies formal utility and privacy guarantees for a simple multiplicative database transformation, where the data are compressed by a random linear or affine transformation, reducing the number of data records substantially, while preserving the number of original input variables. We provide an analysis framework inspired by a recent concept known as differential privacy (Dwork 06). Our goal is to show that, despite the general difficulty of achieving the differential privacy guarantee, it is possible to publish synthetic data that are useful for a number of common statistical learning applications. This includes high dimensional sparse regression (Zhou et al. 07), principal component analysis (PCA), and other statistical measures (Liu et al. 06) based on the covariance of the initial data.

研究の動機と目的

• PCA や高次元回帰などの一般的な学習タスクに対して、統計的有用性を保ちながらプライバシーを保証する形式的なメカニズムを開発すること。
• i.i.d. ガウス行列を用いたランダム線形圧縮が、元のデータの経験的共分散構造を保ちつつ、微分プライバシーを達成できることを示すこと。
• 特に高次元で標本サイズが小さい状況において、微分プライバシーおよび分布的プライバシーを用いたプライバシーと有用性の理論的枠組みを確立すること。
• 行列ノルム差の境界と測度の切断を用いて、プライバシー、データ次元、圧縮率の間のトレードオフを分析すること。
• 圧縮されたデータが個人のプライバシーを損なわずに、下流の統計的推論に信頼性を持って利用可能であるための条件を確立すること。

提案手法

• n × p のデータを m ≪ n の合成データ m × p に圧縮するために、$\mathcal{X} = \Phi X$ と定義されるランダム線形変換を適用する。ここで $\Phi \sim \mathcal{N}(0,1)^{m \times n}$ である。
• プライバシー漏洩を制御するため、測度空間の切断と再正規化を用いる。各分布下で確率が 1/n² 以下の事象を破棄する。
• プライバシーは、尤度密度の比 $f_{\Sigma_1}(\mathcal{X}) / f_{\Sigma_i}(\mathcal{X})$ を用いて定義し、行列ノルムと共分散のずれ項を用いて対数比の上限を求める。
• 大偏差境界から導かれる $\Delta_{\max}(\mathcal{S}_n)$ を、母集団共分散行列と標本共分散行列間のペアワイズ距離の上限として定義する。
• プライバシー保証を示すために、$\alpha(m,\delta)$ が m、p、$\|\Delta\|_F$、$\Sigma_i$ の固有値に依存する項によって有界であることを示し、$o(1)$ の誤差を伴う。
• 集中不等式と行列の逸脱境界を用いて、元の標本共分散行列と圧縮された標本共分散行列の差を制御し、$m = \Omega(p^2 \ln(2np))$ のとき $\|B\|_F = o(1)$ が成り立つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ガウス行列によるランダム線形圧縮は、PCA や共分散に基づく推論において、プライバシーを保ちつつ有用性を維持できるか？
• RQ2 高次元データの文脈において、圧縮率 $m$、データ次元 $p$、プライバシー保証の間のトレードオフは何か？
• RQ3 測度の切断と密度の再正規化は、有用性を著しく低下させることなく、微分プライバシーを確保するためにどのように利用できるか？
• RQ4 圧縮されたデータは、統計的学習タスクに必要な経験的共分散構造をどの程度保っているか？
• RQ5 分布的プライバシーは、ランダム射影の文脈で形式化され、微分プライバシーと結びつけられるか？

主な発見

• $m = \Omega(p^2 \ln(2np))$ のとき、元の標本共分散行列と圧縮された標本共分散行列の差は $\|B\|_F = o(1)$ であり、PCA における高い有用性を保証する。
• プライバシーパラメータ $\alpha(m,\delta)$ は、$mp\|\Delta\|_F / (\lambda_{\min}(\Sigma_i)\lambda_{\min}(\Sigma_1))$ と $\Delta_{\max}$ を含む項によって有界であり、$O(\sqrt{\ln(2np)/m})$ のオーダーの追加項が存在する。
• 各分布に対して合計測度が $\leq 1/n^2$ 以下の低確率事象を切断することで、プライバシー比が有界に保たれ、$O(1/n^2)$ の正規化誤差の影響は小さく、プライバシーパラメータにほとんど影響しない。
• この手法により、任意の2つのデータベース間の尤度比が、$\exp(\alpha(m,\delta))$ で有界な乗法的要因に抑えられるという意味で、微分プライバシーが達成される。$\alpha(m,\delta)$ は行列ノルムと固有値の境界によって制御される。
• 多変量正規分布データでは、$\Delta_{\max}(\mathcal{S}_n) = O_P(\sqrt{\log p / n})$ であり、標本共分散と母集団共分散のずれに対して明確な境界を与える。
• 本手法により、PCA や他の共分散に基づく解析に適したプライバシー保護型の合成データ $\mathcal{X} = \Phi X$ の公開が可能となり、単に摂動を加えた要約統計量を公開する手法よりも優れている。