[論文レビュー] Wishart Mechanism for Differentially Private Principal Components Analysis

Wuxuan Jiang, Cong Xie+1 more|arXiv (Cornell University)|Nov 18, 2015

Privacy-Preserving Technologies in Data参考文献 16被引用数 10

ひとこと要約

この論文は、$(\epsilon,0)$-微分プライバシーを満たす主成分分析（PCA）のための新しい入力摂動手法として、Wishart分布に従うノイズを標本共分散行列に追加するWishartメカニズムを提案する。摂動された行列が正定値半定値のままであることを保証することで、行列構造を維持しつつ、ラプラスベースの手法よりも優れたユーティリティを達成し、近似的に最適な標本複雑度と計算効率を実現する。

ABSTRACT

We propose a new input perturbation mechanism for publishing a covariance matrix to achieve $(ε,0)$-differential privacy. Our mechanism uses a Wishart distribution to generate matrix noise. In particular, We apply this mechanism to principal component analysis. Our mechanism is able to keep the positive semi-definiteness of the published covariance matrix. Thus, our approach gives rise to a general publishing framework for input perturbation of a symmetric positive semidefinite matrix. Moreover, compared with the classic Laplace mechanism, our method has better utility guarantee. To the best of our knowledge, Wishart mechanism is the best input perturbation approach for $(ε,0)$-differentially private PCA. We also compare our work with previous exponential mechanism algorithms in the literature and provide near optimal bound while having more flexibility and less computational intractability.

研究の動機と目的

• 共分散行列の正定値半定値性を保ちながら、PCAにおける微分プライバシーを実現する課題に対処すること。
• 特にラプラスベースのノイズに代わる、よりユーティリティ効率の高い既存の入力摂動手法の開発。
• PCAに限らず、ノイズを加えた共分散行列に対する任意の後続解析をサポートする、計算効率的で柔軟なフレームワークの提供。
• 厳密なプライバシー保証下での低ランク近似において、近似的に最適な標本複雑度と誤差境界を達成すること。

提案手法

• メカニズムは、元の標本共分散行列 $XX^T$ にWishart分布に従う確率的行列をノイズとして追加する。
• Wishartノイズにより、摂動された行列が正定値半定値のままであることが保証され、有効な共分散行列に不可欠な性質を満たす。
• プライバシーは、固有空間の計算の前に保証される入力摂動パラダイムに従う。
• ノイズのスケールは、$\ell_2$-有界なデータ摂動 $vv^T - \hat{v}\hat{v}^T$ における共分散行列の感度に基づいてキャリブレーションされる。
• 理論的分析により、スペクトルノルムおよび部分空間距離の観点から近似誤差の境界が導出される。
• 指数的メカニズムおよびラプラスベースの手法と比較され、より優れたユーティリティと低い計算複雑度が強調される。

実験結果

リサーチクエスチョン

• RQ1 Wishart分布に従うノイズ行列を共分散行列に摂動として適用することで、$(\epsilon,0)$-微分プライバシーと正定値半定値性を両立できるか？
• RQ2 Wishartメカニズムのユーティリティは、PCAにおける標本複雑度と誤差境界の観点から、ラプラスベースの入力摂動と比べてどのように異なるか？
• RQ3 既存の指数的メカニズムおよびラプラスベースのアルゴリズムと比較して、Wishartメカニズムは低ランク近似においてより良い、あるいは近似的に最適な性能を達成できるか？
• RQ4 対称的正定値半定値行列に対して、強力なプライバシーおよび構造的保証を維持しながら、Wishartメカニズムは効率的に実装可能か？

主な発見

• Wishartメカニズムは、ラプラスベースの入力摂動とは異なり、摂動された共分散行列が正定値半定値のままであることを保証する。
• このメカニズムは、ランク-$k$ 近似において、スペクトル誤差境界 $\left\|A - \hat{A}_k\right\|_2 \leq \lambda_{k+1} + O\left(\frac{d\log d}{\epsilon}\right)$ を達成する。$k^3 > \log d$ の場合、既存の境界よりもタイトである。
• 標本複雑度の境界は $O\left(\frac{d}{\epsilon(1-\rho)(\lambda_1 - \lambda_2)} \left(\log\frac{1}{\eta} + d \log\frac{1}{\lambda_1 - \lambda_2}\right)\right)$ であり、$\rho \geq \frac{\sqrt{2}}{2}$ であることから、弱い条件下でも強力な部分空間近似が可能である。
• アルゴリズムの実行時間は $O(kd^2)$ であり、従来の指数的メカニズムに基づく手法の $O(d^6/\epsilon)$ の複雑度と比べて著しく高速である。
• 著者らの隣接定義下で、$\Omega\left(\frac{d}{\epsilon}\right)$ の近似的に最適な下界が得られ、その効率性が裏付けられる。
• $(\epsilon,\delta)$-DP手法と比較して、Wishartメカニズムは同等または優れたユーティリティと計算効率を実現しながら、より強いプライバシー保証（純粋DP）を提供する。