[論文レビュー] Medoid Silhouette clustering with automatic cluster number selection

Lars Lenssen, Erich Schubert|arXiv (Cornell University)|Sep 7, 2023

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、キャッシュ化と部分計算を活用することで、元の PAMMEDSIL と比較して最大 10,464× の高速化を達成する、Medoid Silhouette の直接最適化に基づく効率的なクラスタリング手法 FastMSC と DynMSC を提案する。さらに、k 値の変化に伴う重複計算を回避することで、自動的に最適なクラスタ数を選択する DynMSC を導入し、MNIST などの大規模データセット（30,000 サンプル）においてもスケーラブルかつロバストなクラスタリングを実現する。

ABSTRACT

The evaluation of clustering results is difficult, highly dependent on the evaluated data set and the perspective of the beholder. There are many different clustering quality measures, which try to provide a general measure to validate clustering results. A very popular measure is the Silhouette. We discuss the efficient medoid-based variant of the Silhouette, perform a theoretical analysis of its properties, provide two fast versions for the direct optimization, and discuss the use to choose the optimal number of clusters. We combine ideas from the original Silhouette with the well-known PAM algorithm and its latest improvements FasterPAM. One of the versions guarantees equal results to the original variant and provides a run speedup of $O(k^2)$. In experiments on real data with 30000 samples and $k$=100, we observed a 10464$ imes$ speedup compared to the original PAMMEDSIL algorithm. Additionally, we provide a variant to choose the optimal number of clusters directly.

研究の動機と目的

• 大規模データセットに対して、Medoid Silhouette の最適化における計算上の非効率性を解消すること。
• 反復的探索やヒューリスティクスに依存せずに、Medoid Silhouette を直接最適化できる高速でスケーラブルなアルゴリズムの開発。
• 異なる k 値間で中間結果を再利用することで、最適なクラスタ数の自動選択を可能にすること。
• 標準的なクラスタリング評価・選択手法に対する理論的に妥当で、実験的にも頑健な代替手法の提供。

提案手法

• PAM の変種である FastMSC を提案。最近接メディオイド距離のキャッシュ化により、重複する距離計算を削減し、PAMMEDSIL に対して O(k²) の高速化を達成。
• 二段階最適化を採用：まず FasterPAM を用いてメディオイド候補を計算し、その後 Medoid Silhouette を用いたスワップによる精緻化を実施。
• k=2 から k=max まで段階的にクラスタリングを構築する動的アルゴリズムである DynMSC を開発。過去のクラスタ構造を再利用し、繰り返しの距離計算を最小限に抑える。
• 目的関数として平均シルエット幅（ASW）を採用。クラスタ精緻化中に効率的なインクリメンタル更新が可能な、新しい定式化を導入。
• メディオイドのスワップ時にすべてのペアワイズ距離を再計算しないため、部分計算戦略を採用することで、時間計算量を顕著に削減。
• Medoid Silhouette をクラスタリングの目的関数とクラスタ数選択の基準の両方として統合し、エンドツーエンドの最適化を可能にした。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティクスや複数回の再起動に依存せずに、大規模クラスタリングにおいて Medoid Silhouette を効率的に最適化できるか？
• RQ2 数万点のデータセットに対して、Medoid Silhouette の評価コストをいかに低減し、実用的なものとするか？
• RQ3 異なる k 値間で中間結果を再利用することで、最適なクラスタ数を自動的に選択できるか？
• RQ4 Medoid Silhouette の直接最適化は、標準的な k-medoids や k-means と比較して、より優れたまたはより安定したクラスタリングをもたらすか？
• RQ5 scikit-learn の k-means や FasterPAM と比較して、提案手法の性能はどの程度か？

主な発見

• 30,000 サンプルのデータセット（k=100）において、FastMSC は元の PAMMEDSIL アルゴリズムと比較して 10,464× の高速化を達成し、キャッシュ化と部分計算の有効性を実証した。
• k=2 から 50 まで繰り返し FastMSC を実行する場合と比較して、DynMSC はスワップ回数を 2.15× 減少させ、結果として 1.97× の高速化を達成した。
• 距離計算の冗長性を回避しているため、scikit-learn の k-means に繰り返しシルエットスコアを計算させる手法と比較して、DynMSC は 9.01× 速い。
• 平均メディオイドシルエットは望ましい理論的性質を満たし、遺伝子発現データにおける人間によるクラスタ品質の妥当性と良好に相関していた。
• すべての距離を再計算せずに、k 値の変化に伴う ASW の評価により、最適なクラスタ数を効率的に特定できた。
• MNIST データにおいて、DynMSC は最小限の冗長計算で高い性能を発揮し、実行時間と効率性の両面で FastMSC や scikit-learn の k-means を上回った。