[论文解读] A review of mean-shift algorithms for clustering

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Mar 2, 2015

Advanced Clustering Algorithms Research参考文献 9被引用 100

一句话总结

本文基于核密度估计（KDE）对均值漂移聚类算法进行了全面综述，强调了非参数模式搜索在识别任意形状聚类中的作用。文章详细阐述了均值漂移的理论基础、收敛性特性以及实际扩展，包括加速技术、与谱聚类的关联，以及在图像分割和流形去噪中的应用，确立了其作为参数化聚类方法的鲁棒、无需初始化的替代方案。

ABSTRACT

A natural way to characterize the cluster structure of a dataset is by finding regions containing a high density of data. This can be done in a nonparametric way with a kernel density estimate, whose modes and hence clusters can be found using mean-shift algorithms. We describe the theory and practice behind clustering based on kernel density estimates and mean-shift algorithms. We discuss the blurring and non-blurring versions of mean-shift; theoretical results about mean-shift algorithms and Gaussian mixtures; relations with scale-space theory, spectral clustering and other algorithms; extensions to tracking, to manifold and graph data, and to manifold denoising; K-modes and Laplacian K-modes algorithms; acceleration strategies for large datasets; and applications to image segmentation, manifold denoising and multivalued regression.

研究动机与目标

• 提供基于非参数核密度估计的均值漂移聚类算法的统一理论与实践综述。
• 解决参数化聚类方法（如高斯混合模型）的局限性，包括对初始化的敏感性以及难以建模复杂、非凸聚类形状的问题。
• 探索均值漂移与其他聚类范式（包括谱聚类和K-means变体）之间的联系。
• 提出针对大规模数据集的加速策略，并将方法扩展至流形和图结构数据。
• 展示均值漂移在真实世界应用中的有效性，如图像分割、多值回归和流形去噪。

提出的方法

• 本文使用高斯核或Epanechnikov核进行核密度估计（KDE），以估计数据点的底层概率密度，定义为 $ p(\mathbf{x}) = \frac{1}{N}\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}-\mathbf{x}_n}{\sigma} \right\|^2 \right) $，其中 $ \sigma $ 为带宽。
• 通过均值漂移迭代寻找KDE的局部极大值（模式），采用更新规则 $ \mathbf{x}_{t+1} = \frac{\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}_t - \mathbf{x}_n}{\sigma} \right\|^2 \right) \mathbf{x}_n}{\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}_t - \mathbf{x}_n}{\sigma} \right\|^2 \right)} $，迭代地将点移向更高密度区域。
• 分析了均值漂移的模糊与非模糊两种变体，后者能更好地保持原始数据结构，从而实现更精确的模式检测。
• 提出 $ K $-modes 和拉普拉斯 $ K $-modes 算法作为混合方法，强制每个聚类恰好包含一个模式，从而提升高维数据上的性能。
• 提出加速技术，如近似最近邻搜索和增量连通分量检测，将计算成本从 $ \mathcal{O}(DN^2) $ 降低至 $ \mathcal{O}(DNK) $，在紧密聚类假设下实现高效计算。
• 应用连通分量后处理方法，通过设定阈值 $ \epsilon $ 合并收敛至同一模式的数值上不同的点，以定义聚类连通性。

实验结果

研究问题

• RQ1 基于核密度估计的均值漂移算法与参数化聚类方法相比，在鲁棒性和聚类形状灵活性方面表现如何？
• RQ2 均值漂移算法的理论收敛特性是什么？其与KDE中模式的数量和位置有何关系？
• RQ3 如何通过算法加速与数据结构优化，实现均值漂移在大规模数据集上的高效扩展？
• RQ4 均值漂移与谱聚类、$ K $-means 等其他聚类方法之间存在何种联系？
• RQ5 均值漂移在哪些方面可扩展至流形结构数据？其在图像分割和流形去噪等任务中如何应用？

主要发现

• 均值漂移聚类无需初始化，通过寻找核密度估计的模式，可自然识别任意形状、非凸的聚类。
• 理论分析证实，均值漂移收敛至KDE的某个模式，且对于给定带宽，模式的数量和位置均有明确定义。
• 非模糊变体的均值漂移比模糊版本更好地保持了数据结构，从而实现了更精确的聚类边界。
• 在紧密聚类假设下，加速策略使均值漂移的计算成本从 $ \mathcal{O}(DN^2) $ 降低至 $ \mathcal{O}(DNK) $，使其在大规模数据集上可行。
• $ K $-modes 和拉普拉斯 $ K $-modes 算法提供了一种强制每个聚类恰好包含一个模式的方法，显著提升了高维数据上的性能。
• 通过阈值 $ \epsilon $ 进行连通分量后处理，可高效合并收敛至同一模式的点，在聚类分离良好的情况下计算开销极低。