[論文レビュー] The Laplacian K-modes algorithm for clustering

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Jun 16, 2014

Advanced Clustering Algorithms Research参考文献 29被引用数 5

ひとこと要約

Laplacian K-modesアルゴリズムは、K-modesクラスタリングとグラフラプラシアン正則化を組み合わせることで、非凸または多様体構造を示すデータに対しても意味のある高密度で解釈可能なクラスタ中心点を特定する。割り当て変数、カーネル密度推定によるモード探索、スぺクトラル正則化を統合することで、妥当で代表的な中心点を有する優れたクラスタリング性能を達成し、新しいデータ点の効率的なアウトオブサンプル割り当てを可能にする。

ABSTRACT

In addition to finding meaningful clusters, centroid-based clustering algorithms such as K-means or mean-shift should ideally find centroids that are valid patterns in the input space, representative of data in their cluster. This is challenging with data having a nonconvex or manifold structure, as with images or text. We introduce a new algorithm, Laplacian K-modes, which naturally combines three powerful ideas in clustering: the explicit use of assignment variables (as in K-means); the estimation of cluster centroids which are modes of each cluster's density estimate (as in mean-shift); and the regularizing effect of the graph Laplacian, which encourages similar assignments for nearby points (as in spectral clustering). The optimization algorithm alternates an assignment step, which is a convex quadratic program, and a mean-shift step, which separates for each cluster centroid. The algorithm finds meaningful density estimates for each cluster, even with challenging problems where the clusters have manifold structure, are highly nonconvex or in high dimension. It also provides centroids that are valid patterns, truly representative of their cluster (unlike K-means), and an out-of-sample mapping that predicts soft assignments for a new point.

研究の動機と目的

• K-means や K-modes が非凸または多様体構造を示すクラスタを処理する際の限界を克服すること。
• 各クラスタ内でのカーネル密度推定のモードを特定することで、妥当で代表的なパターンであるクラスタ中心点を保証すること。
• 近接するデータポイント間で滑らかで一貫性のある割り当てを促進する正則化機構を導入し、クラスタ分離を改善すること。
• 新しいデータポイントに対するソフトなアウトオブサンプル割り当てを可能にしつつ、計算効率とスケーラビリティを維持すること。
• MNIST や COIL-20 といった高次元データセットにおいて、K-means や K-modes や mean-shift よりも優れたクラスタリング性能を達成すること。

提案手法

• 空間的整合性を促進するため、K-modesクラスタリングとグラフラプラシアン正則化を組み合わせた共同最適化目的関数を定式化する。
• K-means と同様に、二値割り当て変数 (z_nk) を用いてデータポイントをクラスタに割り当てるが、ユークリッド距離ではなく、密度に配慮した非ユークリッド距離度量を用いる。
• 各クラスタに属する点から構築されたカーネル密度推定 (KDE) のモードとしてクラスタ中心点を推定し、妥当で高密度のパターンを保証する。
• 割り当て更新のための凸二次計画問題の解法と、各中心点を独立に更新するための mean-shift イテレーションを交互に実行する。
• バンド幅 σ を段階的に減少させながら、直前のステップの解を再利用するホモトピー続行技術を導入し、収束性と性能を向上させる。
• 学習済みの密度推定と割り当てルールを活用することで、新しいデータポイントに対するソフトなアウトオブサンプル予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸または多様体構造を示すデータに対しても、意味的で高密度で解釈可能なクラスタ中心点を特定できるクラスタリングアルゴリズムを設計できるか？
• RQ2 K-modes の強み（モード探索、妥当な中心点）とスぺクトラルクラスタリングの強み（非凸クラスタの検出）を統合したフレームワークを構築できるか？
• RQ3 割り当ての一貫性とクラスタ分離を改善する正則化を導入しても、計算効率を維持できるか？
• RQ4 グラフラプラシアン正則化の統合が、MNIST や COIL-20 といった高次元データセットにおけるクラスタリング性能を向上させるか？
• RQ5 このアルゴリズムは、学習済みデータセットを超えた新しいデータポイントに対しても、ソフトで一般化可能な割り当てを提供できるか？

主な発見

• MNIST では、Laplacian K-modes が 70.5% の正確性と 68.8% の NMI を達成し、K-means (55.2% の正確性、50.2% の NMI) や K-modes (56.0% の正確性、50.6% の NMI) を顕著に上回った。
• COIL-20 では、ホモトピー技術を用いて Laplacian K-modes が 81.5% の正確性と 88.0% の NMI を達成し、K-means (64.8% の正確性、73.5% の NMI) や K-modes (65.5% の正確性、73.0% の NMI) を上回った。
• Laplacian K-modes が生成した中心点は、ノイズや個性を平均化しながらもクラスの識別性を保持した明確で代表的な画像であったのに対し、K-means の中心点はぼやけており、平均化された結果としての欠陥を示した。
• このアルゴリズムは、回転した数字のような多様体構造を示すクラスタを正常に分離でき、mean-shift で見られる複数のモードや中心点のずれといった問題を回避した。
• ホモトピー続行法により、バンド幅 σ を段階的に減少させることで、中心点が滑らかに高密度で代表的なパターンへと進化するようになり、性能が向上した。
• このアルゴリズムはソフトなアウトオブサンプル割り当てを提供し、学習済みの密度と割り当てモデルに基づいて、新しいデータポイントへの一般化を可能にした。