[论文解读] Medoid Silhouette clustering with automatic cluster number selection

Lars Lenssen, Erich Schubert|arXiv (Cornell University)|Sep 7, 2023

Advanced Clustering Algorithms Research被引用 4

一句话总结

该论文提出了 FastMSC 和 DynMSC，这两种高效算法通过直接优化中位数轮廓（Medoid Silhouette）实现聚类，相较于原始的 PAMMEDSIL 算法，速度最高提升了 10,464 倍，其核心在于利用缓存和部分计算。此外，该研究还提出了 DynMSC，通过在不同 k 值间复用中间计算结果，自动选择最优聚类数，从而实现在大规模数据集（如包含 30,000 个样本的 MNIST 数据集）上的可扩展且鲁棒的聚类。

ABSTRACT

The evaluation of clustering results is difficult, highly dependent on the evaluated data set and the perspective of the beholder. There are many different clustering quality measures, which try to provide a general measure to validate clustering results. A very popular measure is the Silhouette. We discuss the efficient medoid-based variant of the Silhouette, perform a theoretical analysis of its properties, provide two fast versions for the direct optimization, and discuss the use to choose the optimal number of clusters. We combine ideas from the original Silhouette with the well-known PAM algorithm and its latest improvements FasterPAM. One of the versions guarantees equal results to the original variant and provides a run speedup of $O(k^2)$. In experiments on real data with 30000 samples and $k$=100, we observed a 10464$ imes$ speedup compared to the original PAMMEDSIL algorithm. Additionally, we provide a variant to choose the optimal number of clusters directly.

研究动机与目标

• 为解决在大规模数据集上优化中位数轮廓进行聚类时的计算低效问题。
• 开发一种快速且可扩展的算法，直接优化中位数轮廓，避免依赖迭代搜索或启发式方法。
• 通过复用不同 k 值之间的中间结果，实现聚类数的自动选择。
• 提供一种理论合理且实证稳健的聚类评估与选择方法，作为标准方法的替代方案。

提出的方法

• 提出 FastMSC，一种 PAM 的变体，通过缓存最近中位数的距离，减少冗余的距离计算，相较于 PAMMEDSIL 实现 O(k²) 的加速。
• 采用两阶段优化：首先使用 FasterPAM 计算中位数候选，然后通过基于中位数轮廓的交换操作进行精炼。
• 开发 DynMSC，一种动态算法，通过复用先前的聚类结构，从 k=2 逐步构建到 k=max，最小化重复的距离计算。
• 以平均轮廓宽度（ASW）作为目标函数，并提出一种新颖的公式化方法，支持在聚类精炼过程中高效地进行增量更新。
• 采用部分计算策略，在中位数交换时避免重新计算所有成对距离，显著降低时间复杂度。
• 将中位数轮廓同时用作聚类目标和聚类数选择标准，实现端到端的优化。

实验结果

研究问题

• RQ1 是否可以在不依赖启发式方法或多次重启的情况下，高效优化大规模聚类的中位数轮廓？
• RQ2 如何降低中位数轮廓评估的计算成本，使其在包含数万个点的数据集中具有实际可行性？
• RQ3 是否可以通过复用不同 k 值之间的中间结果，实现聚类数的自动选择？
• RQ4 与标准的 k-中位数或 k-均值方法相比，直接优化中位数轮廓是否能产生更优或更稳定的聚类结果？
• RQ5 所提出的算法与现有实现（如 scikit-learn 的 k-均值和 FasterPAM）相比，性能如何？

主要发现

• 在 30,000 个样本、k=100 的数据集上，FastMSC 相较于原始的 PAMMEDSIL 算法实现了 10,464 倍的速度提升，验证了缓存和部分计算策略的有效性。
• 与重复运行 FastMSC 相比，DynMSC 将交换次数减少了 2.15 倍，从而在 k=2 到 50 的范围内实现了 1.97 倍的速度提升。
• 由于避免了冗余的距离计算，DynMSC 比重复计算轮廓分数的 scikit-learn k-均值算法快 9.01 倍。
• 平均中位数轮廓满足理想的理论性质，并且在基因表达数据中与人工验证的聚类质量具有良好的相关性。
• 该方法通过在不同 k 值上评估 ASW，无需从头开始重新计算所有距离，成功识别出最优聚类数。
• 在 MNIST 数据上，DynMSC 以极低的冗余计算实现了高性能，运行时间和效率均优于 FastMSC 和 scikit-learn k-均值。