[論文レビュー] A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data

Yining Wang, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Oct 24, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用数 13

ひとこと要約

本論文は、完全に決定論的なモデルのもとで次元削減されたデータに対するスパース部分空間クラスタリング（SSC）の理論的分析を提供し、ガウスランダムプロジェクション、FJLT、スケッチ、一様サンプリングを含むさまざまな次元削減技術を用いた場合のSSCの成否に関する明示的条件を確立している。また、ノイズを追加したプロジェクションを用いた微分プライバシー化されたSSCのための実用性とプライバシーの保証も確立している。

ABSTRACT

Subspace clustering is the problem of partitioning unlabeled data points into a number of clusters so that data points within one cluster lie approximately on a low-dimensional linear subspace. In many practical scenarios, the dimensionality of data points to be clustered are compressed due to constraints of measurement, computation or privacy. In this paper, we study the theoretical properties of a popular subspace clustering algorithm named sparse subspace clustering (SSC) and establish formal success conditions of SSC on dimensionality-reduced data. Our analysis applies to the most general fully deterministic model where both underlying subspaces and data points within each subspace are deterministically positioned, and also a wide range of dimensionality reduction techniques (e.g., Gaussian random projection, uniform subsampling, sketching) that fall into a subspace embedding framework (Meng & Mahoney, 2013; Avron et al., 2014). Finally, we apply our analysis to a differentially private SSC algorithm and established both privacy and utility guarantees of the proposed method.

研究の動機と目的

• 次元削減を経験したデータにおけるスパース部分空間クラスタリング（SSC）の形式的成否条件を確立すること。
• 部分空間とデータ点が確率的に生成されるのではなく、決定論的に配置された完全に決定論的なモデルのもとでSSCを分析すること。
• ガウスランダムプロジェクション、FJLT、スケッチ、一様特徴サンプリングを含む、広範な次元削減手法への理論的保証を拡張すること。
• ノイズを追加したプロジェクションを用いた微分プライバシー化されたSSCの実用性とプライバシー分析を提供すること。
• 内在的部分空間ランクの低次多項式のオーダーである投影次元が確保されていれば、SSCが低次元空間への投影後もクラスタリング性能を維持することを示すこと。

提案手法

• 部分空間とデータ点の決定論的モデルを用いて、次元削減されたデータにおけるSSCの理論的枠組みを提案する。
• 部分空間埋め込み理論（Meng & Mahoney, 2013; Avron et al., 2014）を適用し、次元削減がSSCの正しいクラスタ構造の回復能力に与える影響を分析する。
• 行列集中不等式（例：非可換ベルンシュタイン、行列ガウス級数）を用いて、ランダムプロジェクションから生じる摂動行列のスペクトルノルムを評価する。
• 投影された部分空間プロジェクタがスケーリングされた単位行列からどれほど離れるかのバインドを導出し、部分空間の幾何学的構造が投影下でも保存されることを保証する。
• ガウスノイズをランダムプロジェクションに追加することで微分プライバシー化されたSSCの変種を導入し、そのプライバシーと実用性のトレードオフを分析する。
• 高確率で、投影されたデータがSSCが成功するために必要な自己表現構造を保持していることを確立する。

実験結果

リサーチクエスチョン

• RQ1 決定論的モデルのもとで、次元削減されたデータに対するスパース部分空間クラスタリング（SSC）が、どのような条件下で明示的に成功するか？
• RQ2 ガウスランダムプロジェクション、FJLT、またはスケッチによる投影がなされた場合、SSCの性能はどのように低下するか、あるいはどれほど頑健であるか？
• RQ3 一様特徴サンプリング（例：欠損データの場合）は、SSCが要請するクラスタ構造を保持できるか？
• RQ4 ノイズを追加したランダムプロジェクションを用いてSSCに微分プライバシーを適用した場合、プライバシーと実用性のトレードオフはどのようなものか？
• RQ5 内在的部分空間ランクの観点から、SSCが成功するために必要な最小の投影次元は何か？

主な発見

• SSCは、最大の内在的部分空間ランクの低次多項式のオーダーである投影次元が確保されていれば、次元削減されたデータ上でも成功する。具体的には、$ p = O( ext{poly}(r_{ ext{max}}) ext{polylog}(N)) $ である。
• 一様特徴サンプリング（欠損データ）の場合、データが非一貫性条件を満たし、サンプリングレートが十分に高い限り、SSCは成功する。このとき、$ p = O( ext{poly}(r_{ ext{max}}) ext{polylog}(d)) $ である。
• FJLTやスケッチを用いた次元削減は、投影次元が部分空間ランクに対して十分に大きい限り、SSCのクラスタ構造を高確率で保存する。
• 提案された微分プライバシー化SSCの変種は、適切にキャリブレートされたガウスノイズにより $ ho $-微分プライバシーを達成し、実用性の損失は部分空間の非一貫性と投影次元の観点から有界である。
• 高確率 $ 1 - rac{ ho}{2} $ で、投影された部分空間プロジェクタは $ orm{U_OmegaU_Omega^ op - rac{p}{d}I} o 0 $ と漸近的に収束し、構造の保存が保証される。
• 分析により、摂動行列のスペクトルノルムが $ Oig(rac{r' ho_0}{d}ig) $ で有界であることが示され、ここで $ r' $ は部分空間ランク、$ ho_0 $ は非一貫性パラメータである。これにより、自己表現の安定的回復が保証される。