[論文レビュー] Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures

Martin Azizyan, Aarti Singh+1 more|arXiv (Cornell University)|Jun 9, 2014

Bayesian Methods and Mixture Models参考文献 26被引用数 9

ひとこと要約

本稿は、スパースな線形判別分析とガウス混合モデル学習を組み合わせることで、計算的に効率的な高次元非球形ガウス混合分布のクラスタリング手法を提案する。サンプルの複雑さは関連する特徴のスパarsityに比例し、環境次元に対して対数的に依存するため、周辺特徴選択法が失敗する状況でも、頑健な特徴選択が可能である。

ABSTRACT

We consider the problem of clustering data points in high dimensions, i.e. when the number of data points may be much smaller than the number of dimensions. Specifically, we consider a Gaussian mixture model (GMM) with non-spherical Gaussian components, where the clusters are distinguished by only a few relevant dimensions. The method we propose is a combination of a recent approach for learning parameters of a Gaussian mixture model and sparse linear discriminant analysis (LDA). In addition to cluster assignments, the method returns an estimate of the set of features relevant for clustering. Our results indicate that the sample complexity of clustering depends on the sparsity of the relevant feature set, while only scaling logarithmically with the ambient dimension. Additionally, we require much milder assumptions than existing work on clustering in high dimensions. In particular, we do not require spherical clusters nor necessitate mean separation along relevant dimensions.

研究の動機と目的

• 特徴選択を伴う高次元クラスタリングにおける理論的保証の欠如に取り組むこと。特に非球形クラスタに対して有効であることを目的とする。
• 周辺特徴選択の限界を克服すること。関連する特徴が個別ではなく組み合わせてのみ検出可能な場合（例：非球形ガウス分布）に有効であるようにする。
• 最小限の仮定のもとで、同時にクラスタリングと関連特徴の同定を実行する手法を開発すること。
• サンプル複雑さが主に関連特徴の数（内在次元）に依存し、環境次元の対数にのみ依存するようにすること。

提案手法

• スパースな線形判別分析（LDA）とガウス混合モデル（GMM）のパラメータ推定を組み合わせ、クラスタリングと特徴選択を同時に実行する。
• ℓ1正則化を用いた正則化最適化フレームワークを採用し、判別方向におけるスパarsityを誘導することで、関連特徴の選択を促進する。
• 特徴回復とクラスタリング性能に関する理論的保証を確立するために、原双対証明法（primal-dual witness argument）を用いる。
• 識別可能性を保証するため、平均差と共分散に構造的仮定を課す（例：固有値の有界性、スパースな判別方向）。
• 集中不等式と制限固有値条件を用いて、推定誤差とクラスタリング損失の境界を導出する。
• 標本共分散の逆行列による事前ホワイトニングに依存するが、スパarsityと正則化を活用することで、高次元領域でも実行可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 周辺特徴選択に依存せずに、高次元非球形ガウス混合分布に対して関連特徴を理論的に同定できるクラスタリングアルゴリズムを設計可能か？
• RQ2 特徴数 d がサンプル数 n を超える場合、スパarsity仮定のもとでクラスタリングの最適なサンプル複雑さは何か？
• RQ3 球形クラスターや個別特徴の平均差分に依存しない弱い仮定のもとで、特徴回復とクラスタリングの一貫性を達成可能か？
• RQ4 非球形GMMにおいて、サンプル複雑さは関連特徴数（s）と環境次元（d）にどのように依存するか？
• RQ5 単一の最適化フレームワークを用いて、特徴選択と同時にクラスタリングの統計的効率性を達成可能か？

主な発見

• 本手法は、$ n = \tilde{\theta}(s^6 /\log d) $ のオーダーのサンプル複雑さを達成する。ここで $ s $ は関連特徴数、$ d $ は環境次元であり、次元性ではなくスパarsityに依存することを示している。
• クラスタリング損失 $ L(\tilde{\rho}) $ は $ \tilde{O}(\rho^{-1/2}) $ で有界であり、信号対雑音比 $ \rho = \boldsymbol{\beta}^\top \boldsymbol{\theta}^{-1} \boldsymbol{\beta} $ に依存する。$ \rho $ が増加するにつれて一貫性が示される。
• 条件(A4)のもとで特徴回復が保証され、判別方向 $ \beta $ の非ゼロ成分が十分に大きい場合、$ \text{supp}(\beta) = \text{supp}(\tilde{\beta}) $ が成立する。
• $ \boldsymbol{\beta} $-推定誤差は $ \big\bracevert \boldsymbol{\beta} - \tilde{\boldsymbol{\beta}} \big\bracevert_\text{infty} \triangleq \frac{2\theta \big\bracevert \boldsymbol{\beta} \big\bracevert_1 \big\bracevert \boldsymbol{\beta} \big\bracevert_2}{\text{min eigenvalue}} $ を満たし、高確率で収束することが示される。
• 先行研究とは異なり、球形クラスターや個別特徴の平均差分に依存せず、$ n \nless d $ の場合でも事前ホワイトニングの必要がない。
• 制限固有値条件のもとで理論的境界がタイトであり、原双対証明法を用いてサポート回復が確立されており、高次元クラスタリングにおける既存の一貫性結果を改善している。