[論文レビュー] Learning Mixtures of Gaussians using the k-means Algorithm

Kamalika Chaudhuri, Sanjoy Dasgupta+1 more|ArXiv.org|Dec 1, 2009

Advanced Clustering Algorithms Research参考文献 26被引用数 31

ひとこと要約

本稿は、球状ガウス混合分布の学習におけるk-meansアルゴリズムを分析し、2-平均の対称化変種を導入し、成分の平均が張る部分空間に収束することを示している。収束速度の正確な評価、標本複雑度の上限・下限、情報理論的下限を確立し、成分の重なりが小さく次元数が中程度の状況では、k-meansが標本効率においてほぼ最適であることを示している。

ABSTRACT

One of the most popular algorithms for clustering in Euclidean space is the $k$-means algorithm; $k$-means is difficult to analyze mathematically, and few theoretical guarantees are known about it, particularly when the data is {\em well-clustered}. In this paper, we attempt to fill this gap in the literature by analyzing the behavior of $k$-means on well-clustered data. In particular, we study the case when each cluster is distributed as a different Gaussian -- or, in other words, when the input comes from a mixture of Gaussians. We analyze three aspects of the $k$-means algorithm under this assumption. First, we show that when the input comes from a mixture of two spherical Gaussians, a variant of the 2-means algorithm successfully isolates the subspace containing the means of the mixture components. Second, we show an exact expression for the convergence of our variant of the 2-means algorithm, when the input is a very large number of samples from a mixture of spherical Gaussians. Our analysis does not require any lower bound on the separation between the mixture components. Finally, we study the sample requirement of $k$-means; for a mixture of 2 spherical Gaussians, we show an upper bound on the number of samples required by a variant of 2-means to get close to the true solution. The sample requirement grows with increasing dimensionality of the data, and decreasing separation between the means of the Gaussians. To match our upper bound, we show an information-theoretic lower bound on any algorithm that learns mixtures of two spherical Gaussians; our lower bound indicates that in the case when the overlap between the probability masses of the two distributions is small, the sample requirement of $k$-means is {\em near-optimal}.

研究の動機と目的

• well-clusteredなデータにおけるk-meansの理論的挙動を理解すること、特にデータがガウス混合分布に従う場合に焦点を当てる。
• 2成分の球状ガウス混合分布に対して、対称化された2-平均の収束特性を分析すること。
• k-meansを用いた2つの球状ガウス分布の学習における標本複雑度の上界と下界を確立すること。
• k成分混合分布への拡張として、平均部分空間への収束を示すこと。

提案手法

• 2-平均アルゴリズムの対称化変種を導入し、ガウス混合分布に対する安定性と収束性を向上させること。
• 潜在関数θₜを定義し、それが平均部分空間への法線方向との最小角を表すようにし、収束の追跡に用いる。
• 平均部分空間への射影と直交成分を用いた幾何的解析を新たに導入し、θₜの更新則を導出すること。
• cos²(θₜ₊₁)の正確な式表現を、θₜ、成分の平均、分散、混合割合の関数として導出すること。
• Fanoの不等式を適用し、2つの球状ガウス分布を学習するための情報理論的下限としての標本複雑度を導出すること。
• k成分混合分布への拡張として、2-平均の超平面法線が平均部分空間M内のベクトルに収束することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 対称化された2-平均アルゴリズムは、2つの球状ガウス混合分布を学習する際にどのように振る舞うか？
• RQ2 大規模な標本サイズと高次元設定下での2-平均変種の正確な収束速度は何か？
• RQ3 2-平均変種が真の成分平均の良い近似を得るための最小標本数は何か？
• RQ4 標本複雑度は次元数とガウス分布の平均間の分離度にどのように依存するか？
• RQ5 2-平均の標本複雑度は、2つの球状ガウス分布を学習する際にほぼ最適か？

主な発見

• 対称化された2-平均アルゴリズムは、最小分離要件がなくても、2つの球状ガウス分布の平均を含む部分空間を的確に抽出できる。
• 2-平均変種の収束速度は次元に対して対数的であり、成分の平均間の分離度が大きいほど改善する。
• 2-平均が良い解に収束するための標本数の上界は、次元数が増えるほど増大し、平均間の分離度が大きいほど減少する。
• 情報理論的下限により、ガウス成分の重なりが小さい場合には2-平均の標本複雑度がほぼ最適であることが示された。
• k成分混合分布において、2-平均の超平面法線は成分平均が張る部分空間内のベクトルに収束し、部分空間への収束が確認された。