[论文解读] Initialization methods for optimum average silhouette width clustering

Fatima Batool|arXiv (Cornell University)|Oct 18, 2019

Advanced Clustering Algorithms Research参考文献 37被引用 4

一句话总结

本文提出OSil，一种新颖的基于距离的聚类算法，通过将平均轮廓系数（ASW）作为统一的目标函数，同时估计最优聚类数并生成高质量的聚类划分。与传统方法不同，OSil仅需数据观测值，无需预先知晓聚类数量，在多种数据结构下，其聚类质量优于k-means、层次聚类、基于密度的聚类以及基于模型的聚类方法，且在聚类数估计方面表现更优。

ABSTRACT

A unified clustering approach that can estimate number of clusters and produce clustering against this number simultaneously is proposed. Average silhouette width (ASW) is a widely used standard cluster quality index. A distance based objective function that optimizes ASW for clustering is defined. The proposed algorithm named as OSil, only, needs data observations as an input without any prior knowledge of the number of clusters. This work is about thorough investigation of the proposed methodology, its usefulness and limitations. A vast spectrum of clustering structures were generated, and several well-known clustering methods including partitioning, hierarchical, density based, and spatial methods were consider as the competitor of the proposed methodology. Simulation reveals that OSil algorithm has shown superior performance in terms of clustering quality than all clustering methods included in the study. OSil can find well separated, compact clusters and have shown better performance for the estimation of number of clusters as compared to several methods. Apart from the proposal of the new methodology and it's investigation the paper offers a systematic analysis on the estimation of cluster indices, some of which never appeared together in comparative simulation setup before. The study offers many insightful findings useful for the selection of the clustering methods and indices for clustering quality assessment.

研究动机与目标

• 开发一种统一的聚类框架，同时估计聚类数并生成高质量的聚类划分。
• 解决在缺乏先验知识的情况下选择最优聚类参数（尤其是聚类数）的挑战。
• 评估ASW及其优化变体（OASW）在不同聚类结构下估计真实聚类数的性能。
• 在全面的模拟设置中，对内部验证指数和聚类方法进行系统性比较。
• 研究不同初始化方法的行为及其对聚类质量与聚类数估计的影响。

提出的方法

• OSil是一种非重叠、清晰的划分聚类算法，以观测值之间的成对接近度（距离）作为输入。
• 该算法将平均轮廓系数（ASW）作为基于距离的目标函数，以指导聚类形成。
• 采用随机搜索策略探索多种初始化方式，避免陷入局部最优，从而提高鲁棒性。
• 只要能够计算距离，该方法适用于任何数据类型（连续型、二值型、文本、图像等）。
• OSil与10种成熟的聚类方法（包括k-means、层次聚类、谱聚类和基于模型的聚类）进行比较，使用多种合成数据生成过程（DGPs）。
• 性能通过正确恢复聚类的比例（PPR）进行评估，ASW和OASW用作验证指数。

实验结果

研究问题

• RQ1 能否设计一种聚类算法，同时估计聚类数并生成高质量聚类划分，从而优于现有方法？
• RQ2 将ASW作为目标函数进行优化，相较于基于标准ASW的选择方法，如何提升聚类质量和聚类数估计的性能？
• RQ3 在不同聚类结构下，哪些初始化方法能为OSil提供最佳性能？
• RQ4 在不同数据条件下，不同内部验证指数（如ASW、BIC、Gap、PS）在估计真实聚类数方面的表现如何比较？
• RQ5 OASW方法是否在多种聚类算法中显著优于标准ASW，从而提升聚类数估计的准确性？

主要发现

• OSil在所有测试的数据生成过程（DGPs）中均表现出更优的聚类质量，在聚类准确性和紧凑性方面优于所有对比方法。
• OASW方法将正确估计真实聚类数的频率提升至1,000次模拟中的844次，而标准ASW为809次，表明存在统计显著性提升。
• 在Model 4中，OSil采用基于模型的聚类进行初始化时，PPR达到100%，而基于BIC的模型选择仅达44%，凸显OASW在复杂结构中的优势。
• 在Model 8中，OSil将谱聚类的PPR从28%提升至48%，表明其在重叠聚类配置等复杂场景下具备更强的鲁棒性。
• 对于大多数DGPs，跳跃法在变换幂次为p/3时表现最佳，表明该方法的最优参数化配置。
• 本研究发现，Gap、PS、BI和CVNN等指数此前尚未在统一框架中系统比较过，本研究首次在统一的模拟框架中对它们的性能进行了评估。