[论文解读] A review of systematic selection of clustering algorithms and their evaluation

Marc Wegmann, Domenique Zipperling+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Clustering Algorithms Research参考文献 28被引用 10

一句话总结

本文提出了一套系统化的框架，用于根据数据特征和问题需求选择聚类算法与验证方法。该框架引入了评估标准、基于伪代码的决策流程以及评估指南，帮助用户有效选择最优聚类方法并准确解读结果。

ABSTRACT

Data analysis plays an indispensable role for value creation in industry. Cluster analysis in this context is able to explore given datasets with little or no prior knowledge and to identify unknown patterns. As (big) data complexity increases in the dimensions volume, variety, and velocity, this becomes even more important. Many tools for cluster analysis have been developed from early on and the variety of different clustering algorithms is huge. As the selection of the right clustering procedure is crucial to the results of the data analysis, users are in need for support on their journey of extracting knowledge from raw data. Thus, the objective of this paper lies in the identification of a systematic selection logic for clustering algorithms and corresponding validation concepts. The goal is to enable potential users to choose an algorithm that fits best to their needs and the properties of their underlying data clustering problem. Moreover, users are supported in selecting the right validation concepts to make sense of the clustering results. Based on a comprehensive literature review, this paper provides assessment criteria for clustering method evaluation and validation concept selection. The criteria are applied to several common algorithms and the selection process of an algorithm is supported by the introduction of pseudocode-based routines that consider the underlying data structure.

研究动机与目标

• 解决在复杂高维数据背景下，从大量可选算法中选择合适聚类算法的挑战。
• 支持实践者根据其特定数据结构和分析目标，识别最合适的聚类方法。
• 提供结构化的评估框架，用于验证聚类结果并确保结果具有意义的解释。
• 通过基于文献综述和实证分析的数据驱动决策标准，减少算法选择中的主观性。
• 通过标准化的选择与验证流程，提升聚类分析的可重现性与可靠性。

提出的方法

• 开展全面的文献综述，以识别聚类算法选择与验证的关键标准。
• 基于数据属性（如数据量、多样性、速度）以及算法特性，定义评估标准。
• 开发基于伪代码的流程，根据输入数据结构和问题背景，引导用户完成算法选择。
• 根据不同数据类型和规模，对常见聚类算法（如K-means、DBSCAN、层次聚类）进行适用性分类。
• 将验证概念选择整合到框架中，推荐使用轮廓系数、Calinski-Harabasz指数和Davies-Bouldin指数等指标。
• 在真实世界的聚类场景中应用该框架，以展示其可用性与决策支持的有效性。

实验结果

研究问题

• RQ1 哪些标准应指导基于数据特征的聚类算法系统化选择？
• RQ2 用户如何利用标准化的验证概念可靠地评估聚类结果的质量？
• RQ3 数据维度（数据量、多样性、速度）在确定最合适的聚类算法中起到什么作用？
• RQ4 基于伪代码的流程如何提升算法选择的透明度与可重现性？
• RQ5 针对不同类型的聚类结果与数据结构，哪些验证指标最为有效？

主要发现

• 所提出的框架使用户能够系统地将聚类算法与数据属性相匹配，减少对启发式选择的依赖。
• 数据结构与维度显著影响算法性能，其中K-means在球形、密集聚类中表现优异，而DBSCAN在不规则或含噪声的数据中更具优势。
• 轮廓系数和Calinski-Harabasz指数等验证指标为评估聚类质量提供了可量化的基准。
• 将基于伪代码的流程整合到框架中，增强了决策过程的透明度，并支持聚类工作流中的可重现性。
• 该框架通过将验证技术与底层数据特性和算法行为相匹配，提升了聚类结果的可解释性。
• 研究表明，系统化选择可显著提升在多样化工业与分析场景中聚类结果的可靠性与意义。