[論文レビュー] Hybridization of Expectation-Maximization and K-Means Algorithms for Better Clustering Performance

D. Raja Kishor, N. Venkateswarlu|arXiv (Cornell University)|Mar 25, 2016

Bayesian Methods and Mixture Models参考文献 8被引用数 3

ひとこと要約

本稿では、収束を高速化しつつ高いクラスタリング品質を維持するため、K-平均法と期待値最大化（EM）を組み合わせたハイブリッドクラスタリングアルゴリズムを提案する。K-平均法を用いて高速に初期重心を推定し、EMを用いてパラメータを精緻化することで、実行時間の顕著な短縮を達成した。6つのデータセット（合成データを含む）において、標準EMよりも一貫して高速であり、クラスタリング適合度や低減された二乗誤差和（SSE）を維持・上回った。

ABSTRACT

The present work proposes hybridization of Expectation-Maximization (EM) and K-Means techniques as an attempt to speed-up the clustering process. Though both K-Means and EM techniques look into different areas, K-means can be viewed as an approximate way to obtain maximum likelihood estimates for the means. Along with the proposed algorithm for hybridization, the present work also experiments with the Standard EM algorithm. Six different datasets are used for the experiments of which three are synthetic datasets. Clustering fitness and Sum of Squared Errors (SSE) are computed for measuring the clustering performance. In all the experiments it is observed that the proposed algorithm for hybridization of EM and K-Means techniques is consistently taking less execution time with acceptable Clustering Fitness value and less SSE than the standard EM algorithm. It is also observed that the proposed algorithm is producing better clustering results than the Cluster package of Purdue University.

研究の動機と目的

• EMアルゴリズムのクラスタリングにおける収束の遅さを解消するため、より高速なK-平均法による初期化を統合すること。
• クラスタリング品質を損なわず計算効率を向上させること。
• K-平均法とEMの長所を活かしたハイブリッドフレームワークを構築し、全体的な性能を向上させること。
• 提案手法を標準EMおよびパデュー大学のクラスタリングパッケージ（Purdue University's Cluster package）と比較して評価すること。

提案手法

• ハイブリッドアルゴリズムは、K-平均法を用いて初期クラスタ重心とクラスタ割り当てを計算することで開始する。
• これらの初期推定値が、EMアルゴリズムの出発点として用いられ、尤度最大化推定を用いてクラスタパラメータを精緻化する。
• EMステップは、Eステップ（責任の計算）とMステップ（パラメータ再推定）を繰り返し実行し、クラスタ平均、共分散、混合重みを更新する。
• 収束に達するまで、K-平均法による初期化とEMによる精緻化を交互に繰り返す。
• クラスタリング性能は、クラスタリング適合度と二乗誤差和（SSE）を用いて評価する。
• アルゴリズムは、合成データを含む6つのデータセットでテストされ、データタイプにわたる頑健性を確認した。

実験結果

リサーチクエスチョン

• RQ1 K-平均法とEMを組み合わせることで、実行時間を短縮しつつクラスタリングの正確性を維持または向上できるか？
• RQ2 ハイブリッド手法は、収束速度とクラスタリング品質の面で標準EMと比べてどのように異なるか？
• RQ3 ハイブリッド手法は、パデュー大学のクラスタリングパッケージなど、既存のクラスタリングパッケージを上回るか？
• RQ4 K-平均法による初期化は、クラスタリングタスクにおけるEMの収束行動をどの程度改善するか？

主な発見

• ハイブリッドアルゴリズムは、6つのすべてのデータセットにおいて、標準EMアルゴリズムよりも一貫して短い実行時間を達成した。
• 提案手法は、標準EMよりも低い二乗誤差和（SSE）を生み出した。これは、クラスタの密集性が優れていることを示している。
• クラスタリング適合度の値は妥当かつ競争力があり、ハイブリッド手法が高品質なクラスタリングを維持していることを示している。
• ハイブリッドアルゴリズムは、実行時間およびクラスタリング品質の指標の両面で、パデュー大学のクラスタリングパッケージを上回った。
• K-平均法による初期化とEMによる精緻化の組み合わせにより、収束が速くなり、クラスタリング結果の安定性が向上した。