[論文レビュー] The K-modes algorithm for clustering

Miguel Á. Carreira-Perpiñán, Weiran Wang|arXiv (Cornell University)|Apr 24, 2013

Advanced Clustering Algorithms Research参考文献 21被引用数 22

ひとこと要約

この論文では、密度最大化（mean-shift に似る）とクラスタ割り当て（K-means に似る）を組み合わせることで、正確に K 個の代表的で妥当なパターン（モード）をデータから特定する K-modes アルゴリズムを提案する。非凸クラスタでも解釈可能でノイズに強い重心を生成でき、K-means や mean-shift よりも重心の妥当性とロバスト性に優れつつ、計算効率を維持する。

ABSTRACT

Many clustering algorithms exist that estimate a cluster centroid, such as K-means, K-medoids or mean-shift, but no algorithm seems to exist that clusters data by returning exactly K meaningful modes. We propose a natural definition of a K-modes objective function by combining the notions of density and cluster assignment. The algorithm becomes K-means and K-medoids in the limit of very large and very small scales. Computationally, it is slightly slower than K-means but much faster than mean-shift or K-medoids. Unlike K-means, it is able to find centroids that are valid patterns, truly representative of a cluster, even with nonconvex clusters, and appears robust to outliers and misspecification of the scale and number of clusters.

研究の動機と目的

• 非凸または多様体構造を示すデータにおいても、正確に K 個の意味的で妥当なパターン（モード）を重心として返すクラスタリング手法の欠如に応えること。
• K-means は非凸クラスタでノイズの平均化されたパターン（例：回転方向の平均化）といった妥当でない重心を生成するのに対し、mean-shift はバンド幅とクラスタ数を混同し、高次元では困難であるという限界を克服すること。
• クラスタ内に存在するパターンが入力空間において妥当なパターンであるとともに、そのクラスタの代表としても適切であることを保証する手法を開発すること、特に不規則または多様体構造を示すクラスタに対しても有効であること。
• 実際のデータ点である必要のない重心を保ちつつ、高品質な重心を実現する K-means や K-medoids よりも計算効率に優れた代替手法を提供すること。
• クラスタ数（K）と平滑化（バンド幅）の役割を分離し、クラスタ数と重心におけるノイズ平均化のレベルを独立して制御できること。

提案手法

• K-means のクラスタ割り当てとカーネル密度推定（KDE）による密度最大化を組み合わせた K-modes 目的関数を提案し、平滑化を制御するバンド幅 σ を用いる。
• バンド幅 σ を大きくから小さくへ段階的に減少させるホモトピー法を用い、モードの進化を追跡し、K 個の異なるモードへの収束を保証する。
• 各クラスタの重心は、カーネル関数（例：ガウス）を用いた重み付き平均として計算され、重みは現在のモード推定値からの距離に依存する。
• 大きな σ の極限では K-modes は K-means に簡略化される。小さな σ の極限では、重心が実際のデータ点に近づく K-medoids に類似した挙動を示す。
• 各クラスタごとに局所的なバンド幅を用いる戦略を採用し、ノイズ低減とパターン忠実度のバランスを取る適応的平滑化を可能にする。
• EM に類似た反復更新に依存する：まず点を最も近いモードに割り当て、次に各モードをその割り当てられた点のカーネル重み付き平均として再計算することで、局所最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸または多様体構造を示すデータにおいても、正確に K 個の妥当で解釈可能なパターン（モード）を重心として返すクラスタリング手法を設計できるか？
• RQ2 クラスタ数（K）と平滑化（バンド幅）の役割を分離することで、mean-shift や K-means よりもロバスト性と解釈可能性が向上するか？
• RQ3 クラスタ割り当てと密度最大化を組み合わせることで、K-means や mean-shift よりも代表的で外れ値に対して感度が低い重心が得られるか？
• RQ4 K-means と同等の計算効率を維持しながら、mean-shift の代表的特徴と K-medoids の妥当性を両立できるか？
• RQ5 ノイズ平均化とパターン忠実度のバランスを最適化するためのバンド幅戦略は何か？

主な発見

• K-modes は、K-means が回転方向の平均化によって失敗する非凸クラスタでも、認識可能な数字画像のような妥当なパターンを重心として生成する。
• 外れ値やパrameter の誤設定に対してもロバストであり、K や σ を変更しても安定した重心の挙動を示す。
• 中程度のバンド幅値を用いることで、ノイズや個性を平均化し、個々のデータ点よりもより典型的で代表的なパターンを生成する。
• 計算コストに関しては、K-means よりわずかに遅いが、mean-shift よりも著しく高速であり、K-means を複数回実行する程度の複雑さである。
• ホモトピー法により、粗いから細かいクラスタリングへの滑らかな遷移が可能となり、平滑化のスケールにわたる重心の系列が得られ、探索的データ分析に有用である。
• K-modes は局所的バンド幅や非ガウスカーネル（例：エパネニコフ）の使用に拡張可能であり、今後の実装で速度とロバスト性の向上が期待できる。