[论文解读] An Effective and Efficient Approach for Clusterability Evaluation

Margareta Ackerman, Andreas Adolfsson+1 more|arXiv (Cornell University)|Feb 22, 2016

Advanced Clustering Algorithms Research参考文献 31被引用 7

一句话总结

该论文提出了一种计算高效且有效的聚类可分性评估方法，通过在高维数据的成对距离一维分布上应用多峰性检验——特别是Dip检验和Silverman检验——实现。该方法成功识别了真实数据集中的固有聚类结构，在实用性和准确性方面优于先前的方法，并为聚类可分性评估设立了新基准。

ABSTRACT

Clustering is an essential data mining tool that aims to discover inherent cluster structure in data. As such, the study of clusterability, which evaluates whether data possesses such structure, is an integral part of cluster analysis. Yet, despite their central role in the theory and application of clustering, current notions of clusterability fall short in two crucial aspects that render them impractical; most are computationally infeasible and others fail to classify the structure of real datasets. In this paper, we propose a novel approach to clusterability evaluation that is both computationally efficient and successfully captures the structure of real data. Our method applies multimodality tests to the (one-dimensional) set of pairwise distances based on the original, potentially high-dimensional data. We present extensive analyses of our approach for both the Dip and Silverman multimodality tests on real data as well as 17,000 simulations, demonstrating the success of our approach as the first practical notion of clusterability.

研究动机与目标

• 为解决现有聚类可分性度量的局限性，这些度量要么计算上不可行，要么无法捕捉真实世界数据的结构。
• 开发一种实用且可扩展的方法，用于评估数据集是否本质上支持有意义的聚类。
• 确保该方法在检测聚类结构方面有效，同时计算效率足够高，适用于实际应用。

提出的方法

• 该方法通过计算所有数据点之间的成对欧几里得距离，将高维数据转换为一维表示。
• 在该一维距离分布上应用Dip和Silverman多峰性检验，以检测多个峰，表明可能存在聚类结构。
• 距离分布中存在多个峰，表明数据具有可聚类性。
• 该方法设计为计算高效，避免昂贵的聚类迭代或复杂模型拟合。
• 它利用统计假设检验，判断观察到的距离多峰性是否具有统计显著性。
• 该方法在17,000次模拟和真实数据集上进行了评估，以验证其鲁棒性和有效性。

实验结果

研究问题

• RQ1 是否存在一种聚类可分性评估方法，既能计算高效，又能有效检测真实世界中的聚类结构？
• RQ2 成对距离的多峰性是否能可靠指示高维数据中固有聚类的存在？
• RQ3 在真实数据集中，将Dip和Silverman检验用于聚类可分性评估时，其表现如何？
• RQ4 该方法能否在实际场景中优于现有的理论聚类可分性概念？
• RQ5 该方法在不同数据分布和高维设置下是否具有鲁棒性？

主要发现

• 所提出的方法在先前方法失效的真实数据集中成功检测到聚类结构，展现出实际相关性。
• 将Dip和Silverman检验应用于成对距离时，表现出强大的统计效能，能够有效识别指示聚类的多峰分布。
• 该方法实现了高度的计算效率，适用于大规模和高维数据应用。
• 大量模拟实验（17,000次运行）证实了该方法在各种数据配置下的可靠性和鲁棒性。
• 该方法是首个在理论严谨性与实际可行性之间实现平衡的方法，为聚类可分性评估设立了新标准。
• 实证结果表明，即使在复杂且高维的情境下，该方法也能以高精度正确识别出可聚类的数据集。