[论文解读] A Comprehensive Approach to Mode Clustering

Yen‐Chi Chen, Christopher R. Genovese+1 more|arXiv (Cornell University)|Jun 6, 2014

Anomaly Detection Techniques and Applications参考文献 49被引用 4

一句话总结

本文提出了一套全面的框架，通过引入软聚类分配、聚类连通性度量、带宽选择、小聚类去噪以及基于多维尺度变换的高维可视化，增强了模式聚类。在正则性条件下，该方法实现了模式一致性与模式位置收敛，为多元数据中的非参数聚类提供了稳健且具有理论支持的解决方案。

ABSTRACT

Mode clustering is a nonparametric method for clustering that defines clusters using the basins of attraction of a density estimator's modes. We provide several enhancements to mode clustering: (i) a soft variant of cluster assignment, (ii) a measure of connectivity between clusters, (iii) a technique for choosing the bandwidth, (iv) a method for denoising small clusters, and (v) an approach to visualizing the clusters. Combining all these enhancements gives us a complete procedure for clustering in multivariate problems. We also compare mode clustering to other clustering methods in several examples

研究动机与目标

• 解决传统模式聚类中的局限性，如硬聚类分配和缺乏不确定性量化。
• 为核密度估计中的带宽选择开发一种系统性方法，以优化模式聚类性能。
• 通过去噪技术减轻高维数据中虚假小聚类（聚类噪声）的问题。
• 引入聚类间连通性度量，以评估聚类关系与稳定性。
• 利用多维尺度变换实现高维聚类的可视化，支持解释与分析。

提出的方法

• 提出一种基于数据点属于某个模式吸引盆概率的软聚类分配方法，该概率通过梯度上升路径推导得出。
• 基于连接聚类的路径上的最小密度定义聚类间连通性度量，并通过核密度估计进行估计。
• 提出一种基于最小化与模式数量及其分离度相关的准则的带宽选择规则，采用插件方法实现。
• 实施一种去噪程序：若小聚类足够连通且密度较低，则将其合并到较大聚类中，从而减少高维空间中的噪声。
• 开发一种基于多维尺度变换（MDS）的可视化技术，将聚类连通性投影至二维或三维空间，边权重反映聚类间连通性强弱。
• 使用均值漂移算法计算吸引盆并从核密度估计器中估计模式，确保计算效率。

实验结果

研究问题

• RQ1 如何定义软聚类分配以量化模式聚类中的不确定性？
• RQ2 何种可靠的连通性度量能反映聚类间的分离程度与密度结构？
• RQ3 如何实现核密度估计中带宽的自动选择，以优化模式聚类性能？
• RQ4 在高维模式聚类中，哪些策略能有效减少虚假小聚类的数量？
• RQ5 如何对高维数据中的聚类进行有意义的可视化，以支持解释与分析？

主要发现

• 所提方法实现了模式一致性：估计的模式数量以指数速率收敛至真实模式数量，满足 $ \text{Prob}(\text{estimated modes} \neq \text{true modes}) \to 0 $，收敛速率由 $ nh^{d+4} $ 限定。
• 估计模式的位置以 $ O(h^2) + O_P\big(\big(\frac{1}{nh^{d+2}}\big)^{1/2}\big) $ 的速率收敛至真实模式位置，确保了精确的模式定位。
• 带宽选择规则有效平衡了偏差与方差，减少了过拟合并提升了聚类稳定性。
• 去噪程序显著减少了高维设置下微小且孤立的聚类数量，提升了可解释性。
• 可视化方法成功将复杂的聚类关系投影至二维或三维空间，保留了连通性模式；在橄榄油数据集（$ d=8 $，7个聚类，带权边连接）中表现良好。
• 在多个示例中的实证比较表明，所提方法在鲁棒性、可解释性以及对高维噪声的处理方面均优于标准模式聚类方法。