[論文レビュー] Clustering with Spectral Norm and the k-means Algorithm

Amit Kumar, Ravindran Kannan|arXiv (Cornell University)|Apr 11, 2010

Data Management and Algorithms参考文献 12被引用数 28

ひとこと要約

本稿では、k-means法に基づく新たなクラスタリングアルゴリズムを提示する。このアルゴリズムは、決定的近接条件のもとで動作し、各点が自らのクラスタ中心へは他の中心よりも $Ω(k)$ 標準偏差だけ近接するという条件を満たすだけでよい。この方法はスペクトルノルムに基づく標準偏差を用い、誤検出点が存在する状況下でも真の中心へ収束することを証明しており、ガウス分布やパワー則分布に対する既存の結果を、より弱い分離仮定のもとで一般化する。

ABSTRACT

There has been much progress on efficient algorithms for clustering data points generated by a mixture of $k$ probability distributions under the assumption that the means of the distributions are well-separated, i.e., the distance between the means of any two distributions is at least $Ω(k)$ standard deviations. These results generally make heavy use of the generative model and particular properties of the distributions. In this paper, we show that a simple clustering algorithm works without assuming any generative (probabilistic) model. Our only assumption is what we call a "proximity condition": the projection of any data point onto the line joining its cluster center to any other cluster center is $Ω(k)$ standard deviations closer to its own center than the other center. Here the notion of standard deviations is based on the spectral norm of the matrix whose rows represent the difference between a point and the mean of the cluster to which it belongs. We show that in the generative models studied, our proximity condition is satisfied and so we are able to derive most known results for generative models as corollaries of our main result. We also prove some new results for generative models - e.g., we can cluster all but a small fraction of points only assuming a bound on the variance. Our algorithm relies on the well known $k$-means algorithm, and along the way, we prove a result of independent interest -- that the $k$-means algorithm converges to the "true centers" even in the presence of spurious points provided the initial (estimated) centers are close enough to the corresponding actual centers and all but a small fraction of the points satisfy the proximity condition. Finally, we present a new technique for boosting the ratio of inter-center separation to standard deviation.

研究の動機と目的

• データの生成的確率的モデルを仮定しないクラスタリングアルゴリズムの開発を目的とする。
• k-meansが真のクラスタ中心へ収束する最小の決定的条件「近接条件」を同定すること。
• 分離要件を緩和することで、ガウス分布およびパワー則混合モデルに対する既存の結果を一般化すること。
• 初期中心が真の中心に近く、かつすべての点の $ ε $ 分数を除く点が近接条件を満たす場合に、k-meansの収束を証明すること。
• 中心間隔と標準偏差の比を向上させるブースティング技術を導入し、混合モデルにおける分離要件を弱める。

提案手法

• データ行列 $ A $ と中心行列 $ C $ の差行列 $ A - C $ のスペクトルノルムを定義し、近接条件における標準偏差を推定する。
• 「近接条件」を導入：任意の点について、その真の中心と他の中心を結ぶ直線への射影が、スペクトルノルムに基づく標準偏差の $ Ω(k) $ 倍だけ自らの中心に近接する。
• 初期中心が真の中心に十分近い状態でk-meansを適用し、すべての点の $ ε $ 分数を除く点が近接条件を満たす場合に真の中心へ収束することを証明する。
• 幾何的議論（定理5.4）を用いて、k-meansで誤分類された点は真の中心から遠く離れている必要があることを示し、その数を制限する。
• 信号対ノイズ比を向上させるブースティング技術を開発し、混合モデルにおける分離条件の緩和を可能にする。
• ガウス分布およびパワー則分布にこのフレームワークを適用し、既知の結果が主定理の系として得られ、尾部の仮定なしに分散の上限のもとで新たな結果が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングが、生成的でない決定的条件のもとで真の中心へ収束することが保証されるか？
• RQ2 特定の確率的モデルを仮定しない場合に、正しいクラスタリングを保証するためのデータ構造の最小条件は何か？
• RQ3 誤検出点が存在する状況下でも、k-meansクラスタリングが真の中心へ収束するように、どのようにして耐性を付けることができるか？
• RQ4 新しいブースティング技術を用いることで、混合モデルにおける中心間隔の要件を弱めることが可能か？
• RQ5 ガウス分布およびパワー則混合モデルに対する既存の結果は、統一的で一般的な近接条件の系としてどの程度導かれるか？

主な発見

• 初期中心が十分に近く、かつすべての点の $ ε $ 分数を除く点が近接条件を満たす場合、k-meansアルゴリズムは真のクラスタ中心へ収束する。
• 近接条件は、ガウス分布やパワー則分布を含む既知の生成的モデルでも満たされるため、既存の結果は主定理の系として得られる。
• ガウス混合モデルでは、$ |\mu_r - \mu_s| \geq \Omega(\sigma k \cdot \log(d / w_{\text{min}})) $ の分離条件のもとで、$ n = \text{poly}(d / w_{\text{min}}) $ 個のサンプルを正しく分類できる。
• パワー則分布で $ P[|(X - \mu_r) \cdot v| > \sigma t] \leq 1/t^\gamma $ を満たす場合、分離条件に $ \log(d / w_{\text{min}}) + \varepsilon^{-1/\gamma} $ が関与し、$ 1 - \varepsilon $ 分数の点が正しくクラスタリングされる。
• ガウス分布およびパワー則モデルの両方において、スペクトルノルムに基づく標準偏差 $ \|A - C\| / \sqrt{n} $ が $ O(\sigma \sqrt{d} \cdot \text{polylog}(n)) $ であることが示された。
• 信号対ノイズ比を向上させるブースティング技術を導入し、近接条件における分離要件を弱めることが可能になった。