[論文レビュー] Near-Optimal Algorithms for Differentially-Private Principal Components

Kamalika Chaudhuri, Anand D. Sarwate+1 more|arXiv (Cornell University)|Jul 12, 2012

Privacy-Preserving Technologies in Data参考文献 36被引用数 7

ひとこと要約

本稿では、真のPCA結果に近い部分空間を優先するように、行列ビンミング分布を用いた指数機構を用いる、新しい微分プライバシーPCAアルゴリズムPPCAを提案する。この手法は、データ次元dに対してO(d)のスケーリングを示す近似的に最適なサンプル複雑性を達成し、SULQのような先行手法が√log dを含むΩ(d^{3/2}√log d)のスケーリングを示すのと比べ顕著に優れており、MCMCサンプリングを用いて実データ上での分散の保持性能が優れている。

ABSTRACT

Principal components analysis (PCA) is a standard tool for identifying good low-dimensional approximations to data in high dimension. Many data sets of interest contain private or sensitive information about individuals. Algorithms which operate on such data should be sensitive to the privacy risks in publishing their outputs. Differential privacy is a framework for developing tradeoffs between privacy and the utility of these outputs. In this paper we investigate the theory and empirical performance of differentially private approximations to PCA and propose a new method which explicitly optimizes the utility of the output. We show that the sample complexity of the proposed method differs from the existing procedure in the scaling with the data dimension, and that our method is nearly optimal in terms of this scaling. We furthermore illustrate our results, showing that on real data there is a large performance gap between the existing method and our method.

研究の動機と目的

• 機密性の高いデータに対して主成分分析を実行する際の個人のプライバシー保護を課題とする。
• 真のPCA出力に近い部分空間を優先することで、ユーティリティを最大化する微分プライバシーPCAアルゴリズムを開発すること。
• 微分プライバシーPCAの理論的サンプル複雑性バウンドを特定し、最適性を確立すること。
• 実データ上での実験的評価を通じて、SULQのような既存手法と比較して、本手法が分散の保持性能で優れていることを示すこと。

提案手法

• 真のPCA結果に近い部分空間を優先するように、行列ビンミング分布からのサンプリングを用いる指数機構の一種としてPPCAを提案する。この手法により、k次元部分空間を選択する。
• Hoff (2009) が提示したマルコフ連鎖モンテカルロ（MCMC）手順を用いて、行列ビンミング分布からの効率的サンプリングを実現し、収束時に微分プライバシーが保証される。
• ノイズ注入を制御するためのプライバシー予算εpを用い、指数機構の理論的保証に従って(εp)-微分プライバシーを達成する。
• k=1の場合のサンプル複雑性を解析し、SULQがΩ(d^{3/2}√log d)、PPCAがO(d)のスケーリングを示すことを導出する。また、任意の微分プライバシーPCAアルゴリズムに対して一般にΩ(d)の下界が成り立つことを示す。
• 補題14を用いて単位球面上での確率的パッキングを構築し、互いに有界な内積を持つベクトルの集合を構成することで、理論的サンプル複雑性解析を支援する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーPCAの最適なサンプル複雑性スケーリングは、データ次元dの関数としてどのように振る舞うか？
• RQ2 分散の保持を指標として用いた場合、微分プライバシーPCA手法のユーティリティはどのように比較できるか？
• RQ3 真のPCA部分空間に近いものを明示的に最適化する微分プライバシーPCAアルゴリズムを設計可能か？
• RQ4 SULQのような既存手法と、ユーティリティを優先する新規手法との間には、証明可能な性能差が存在するか？

主な発見

• PPCAはk=1の場合にO(d)のサンプル複雑性を達成し、任意の微分プライバシーPCAアルゴリズムが少なくともΩ(d)のサンプルを必要とするため、ほぼ最適である。
• SULQのサンプル複雑性はΩ(d^{3/2}√log d)とスケーリングされ、PPCAと比較して顕著な理論的性能差が示された。
• 実世界のデータ上では、PPCAはSULQよりも顕著に高い分散を保持しており、実用的なユーティリティ差が明確に示された。
• PPCAにおける行列ビンミング分布の使用により、真のPCA結果に近い部分空間が優遇され、結果としてユーティリティが向上した。
• 理論的解析により、PPCAがデータ次元dに応じたサンプル複雑性スケーリングにおいてほぼ最適であることが確認された。