[论文解读] How I learned to stop worrying and love the curse of dimensionality: an appraisal of cluster validation in high-dimensional spaces

Brian A. Powell|arXiv (Cornell University)|Jan 13, 2022

Advanced Clustering Algorithms Research被引用 4

一句话总结

本文研究了高维数据中维度灾难——特别是距离集中现象——对聚类评估指数的影响。通过在合成数据集上评估24种基于欧几里得距离的常见聚类有效性指数，发现随着维度增加，大多数指数对真实聚类结构的敏感性保持稳定或有所提高，表明尽管存在高维挑战，聚类验证依然可靠。

ABSTRACT

The failure of the Euclidean norm to reliably distinguish between nearby and distant points in high dimensional space is well-known. This phenomenon of distance concentration manifests in a variety of data distributions, with iid or correlated features, including centrally-distributed and clustered data. Unsupervised learning based on Euclidean nearest-neighbors and more general proximity-oriented data mining tasks like clustering, might therefore be adversely affected by distance concentration for high-dimensional applications. While considerable work has been done developing clustering algorithms with reliable high-dimensional performance, the problem of cluster validation--of determining the natural number of clusters in a dataset--has not been carefully examined in high-dimensional problems. In this work we investigate how the sensitivities of common Euclidean norm-based cluster validity indices scale with dimension for a variety of synthetic data schemes, including well-separated and noisy clusters, and find that the overwhelming majority of indices have improved or stable sensitivity in high dimensions. The curse of dimensionality is therefore dispelled for this class of fairly generic data schemes.

研究动机与目标

• 评估高维空间中距离集中现象对常见聚类验证指数性能的影响。
• 确定传统基于欧几里得距离的验证指数在维度增加时是否仍能保持对真实聚类结构的敏感性。
• 评估Davies-Bouldin、Silhouette和Xie-Beni等广泛使用的指数在高维条件下的鲁棒性。
• 提供实证证据表明，对于典型数据分布，维度灾难并不会从根本上破坏聚类验证的可靠性。

提出的方法

• 本研究在具有不同聚类分离度和噪声水平的多种合成数据方案中，评估了24种基于欧几里得范数的聚类有效性指数。
• 合成数据集包括均匀分布、高斯分布以及具有20个和50个聚类的数据，维度范围从2到1000。
• 针对每个数据集和维度，使用k-means进行聚类，并对一系列k值计算验证指数。
• 通过指数在正确k值处是否出现峰值来衡量其敏感性，同时跟踪维度增加时的性能变化。
• 重点分析的指数包括Davies-Bouldin、Silhouette、Xie-Beni、Calinski-Harabasz以及Wemmert-Gançarski等。
• 统计分析比较了不同维度下指数的行为，重点关注峰值的稳定性和真实k值的可检测性。

实验结果

研究问题

• RQ1 在存在距离集中现象的情况下，常见聚类验证指数如何响应维度的增加？
• RQ2 基于欧几里得距离的指数在高维数据中是否失去对真实聚类结构的敏感性？
• RQ3 当维度超过100时，哪些有效性指数能保持稳定或提升性能？
• RQ4 噪声或聚类重叠的存在是否会影响高维下验证指数的鲁棒性？
• RQ5 维度灾难是否是高维空间中可靠聚类验证的根本障碍？

主要发现

• 绝大多数聚类验证指数——24种中的20种——在维度增加时表现出对真实聚类数的敏感性保持稳定或有所提高。
• Silhouette、Xie-Beni和Calinski-Harabasz等指数在所有测试维度下均保持强劲性能，峰值检测结果一致。
• 距离集中并未普遍降低指数性能；相反，由于这些指数依赖于组内与组间离散度的相对关系，许多指数仍保持鲁棒性。
• 即使在存在噪声或聚类重叠的配置下，大多数指数仍能在真实k值处保持可检测的峰值，表明其对高维噪声具有韧性。
• 本研究未发现维度灾难会破坏典型数据分布（包括聚类特征和相关特征）下聚类验证可靠性的证据。
• S_Dbw和Wemmert-Gançarski指数表现出显著稳定性，其性能在所有测试维度和数据类型下均保持一致。