[论文解读] Cluster Evaluation of Density Based Subspace Clustering

Rahmat Widia Sembiring, Jasni Mohamad Zain|arXiv (Cornell University)|Dec 29, 2010

Advanced Clustering Algorithms Research参考文献 21被引用 8

一句话总结

本文在6×1595维的合成数据集上评估了三种基于密度的子空间聚类方法——SUBCLU、FIRES和INSCY，采用I/O熵、F1分数、覆盖率、准确率和执行时间作为性能指标。结果表明，SUBCLU在覆盖率方面表现最佳，但运行时间最长；而INSCY在准确率方面表现优异，但计算时间更长，凸显了高维聚类中精度与效率之间的权衡。

ABSTRACT

Clustering real world data often faced with curse of dimensionality, where real world data often consist of many dimensions. Multidimensional data clustering evaluation can be done through a density-based approach. Density approaches based on the paradigm introduced by DBSCAN clustering. In this approach, density of each object neighbours with MinPoints will be calculated. Cluster change will occur in accordance with changes in density of each object neighbours. The neighbours of each object typically determined using a distance function, for example the Euclidean distance. In this paper SUBCLU, FIRES and INSCY methods will be applied to clustering 6x1595 dimension synthetic datasets. IO Entropy, F1 Measure, coverage, accurate and time consumption used as evaluation performance parameters. Evaluation results showed SUBCLU method requires considerable time to process subspace clustering; however, its value coverage is better. Meanwhile INSCY method is better for accuracy comparing with two other methods, although consequence time calculation was longer.

研究动机与目标

• 评估基于密度的子空间聚类方法在高维合成数据集上的性能。
• 应对真实多维数据聚类中维度灾难的挑战。
• 通过F1分数、覆盖率、准确率、I/O熵和执行时间等多种评估指标，比较SUBCLU、FIRES和INSCY。
• 识别子空间聚类中聚类质量与计算效率之间的权衡。

提出的方法

• 本研究将SUBCLU、FIRES和INSCY算法应用于一个6×1595维的合成数据集。
• 基于邻域密度使用MinPts阈值确定核心对象，执行基于密度的聚类。
• 通过距离函数（如欧几里得距离）定义邻域，识别邻近点。
• 使用五项指标评估性能：I/O熵、F1测量、覆盖率、准确率和时间消耗。
• 评估框架比较了算法在不同维度及聚类质量维度下的行为表现。
• 通过分析结果，识别每种方法在精确率、召回率和可扩展性方面的优缺点。

实验结果

研究问题

• RQ1 在高维合成数据上，SUBCLU、FIRES和INSCY在聚类覆盖率方面的表现如何？
• RQ2 三种子空间聚类方法在准确率与执行时间之间存在何种权衡？
• RQ3 I/O熵和F1测量在多大程度上反映了不同方法的子空间聚类结果质量？
• RQ4 维度对基于密度的子空间聚类算法性能的影响程度如何？
• RQ5 哪种方法在聚类质量和计算效率之间实现了最佳平衡？

主要发现

• SUBCLU在三种方法中实现了最高的覆盖率，表明其在识别相关子空间聚类方面具有强大能力。
• INSCY相比SUBCLU和FIRES展现出更优的准确率，表明其与真实聚类结果的对齐程度更高。
• SUBCLU的执行时间最高，表明其在高维环境下的可扩展性存在局限。
• FIRES在各项指标上表现中等，但在准确率上不及INSCY，在覆盖率上不及SUBCLU。
• 本研究证实了准确率与运行时间之间存在明显权衡，INSCY虽最慢但准确率最高。
• I/O熵和F1测量为聚类质量提供了互补性洞察，其中F1测量对精确率与召回率的平衡更为敏感。