[论文解读] Clustering via Mode Seeking by Direct Estimation of the Gradient of a Log-Density

Hiroaki Sasaki, Aapo Hyvärinen+1 more|arXiv (Cornell University)|Apr 20, 2014

Anomaly Detection Techniques and Applications参考文献 21被引用 11

一句话总结

本文提出LSLDG聚类，一种新颖的模式搜索聚类方法，通过最小二乘优化直接估计对数密度梯度，绕过不可靠的核密度估计。该方法在高维数据中表现优于均值漂移及现有聚类算法，实现更高准确率，且无需手动调整聚类数量或其他超参数。

ABSTRACT

Mean shift clustering finds the modes of the data probability density by identifying the zero points of the density gradient. Since it does not require to fix the number of clusters in advance, the mean shift has been a popular clustering algorithm in various application fields. A typical implementation of the mean shift is to first estimate the density by kernel density estimation and then compute its gradient. However, since good density estimation does not necessarily imply accurate estimation of the density gradient, such an indirect two-step approach is not reliable. In this paper, we propose a method to directly estimate the gradient of the log-density without going through density estimation. The proposed method gives the global solution analytically and thus is computationally efficient. We then develop a mean-shift-like fixed-point algorithm to find the modes of the density for clustering. As in the mean shift, one does not need to set the number of clusters in advance. We empirically show that the proposed clustering method works much better than the mean shift especially for high-dimensional data. Experimental results further indicate that the proposed method outperforms existing clustering methods.

研究动机与目标

• 为解决均值漂移聚类的局限性，其依赖通过核密度估计（KDE）的间接密度梯度估计，导致在高维空间中性能不佳。
• 开发一种直接的非参数方法，用于估计对数密度梯度，避免两步法的KDE基础方法。
• 设计一种聚类算法，继承均值漂移无需预先指定聚类数量的优势。
• 通过基于交叉验证的客观优化，实现对核宽和正则化等调优参数的自动优化，消除手动调参的需要。
• 在高维数据设置下，证明其性能显著优于均值漂移及其他标准聚类方法。

提出的方法

• 提出最小二乘对数密度梯度（LSLDG），一种非参数方法，通过最小二乘损失函数直接估计对数密度梯度。
• 采用再生核希尔伯特空间（RKHS）框架，将对数密度梯度建模为以数据点为中心的核函数的线性组合。
• 通过最小化估计梯度与真实梯度之间期望平方误差，推导出梯度估计器的闭式解。
• 引入定点迭代算法以寻找密度模式，类似于均值漂移，实现无需预先指定聚类数的模式搜索聚类。
• 采用交叉验证，基于梯度估计的均方误差，客观地优化高斯核宽和正则化参数。
• 通过在各维度间共享系数，将模型适配于高维数据，降低计算成本，同时保持精度。

实验结果

研究问题

• RQ1 直接估计对数密度梯度是否在梯度精度和聚类性能方面优于传统的两步KDE方法？
• RQ2 所提出的LSLDG方法在高维数据中是否保持鲁棒性和高效性，而KDE方法如均值漂移通常在此类场景下失效？
• RQ3 LSLDG聚类算法是否能实现优于K均值、谱聚类和高斯均值漂移等最先进方法的聚类准确率？
• RQ4 LSLDG中的调优参数在多大程度上可通过交叉验证实现客观优化，从而消除对手动超参数选择的依赖？
• RQ5 在图像分割和传感器/语音数据聚类等实际应用中，LSLDG聚类性能与均值漂移相比如何？

主要发现

• 在图像分割数据集上，LSLDG聚类的平均调整兰德指数（ARI）为0.13（±0.06），显著优于均值漂移的0.08（±0.03），且在1%显著性水平下具有统计显著性。
• 在加速度计数据集（d=5）上，LSLDG聚类的ARI为0.61（±0.13），优于K均值（0.50±0.03）、谱聚类（0.20±0.26）和均值漂移（0.51±0.05）。
• 在高维语音数据集（d=50）上，LSLDG的ARI为0.13（±0.02），而K均值、谱聚类和均值漂移的ARI均为0.00，表明LSLDG在高维设置下具有显著优势。
• 该方法计算高效，且无需手动调整聚类数量或其他超参数，而K均值和谱聚类则需如此。
• 直接梯度估计方法避免了KDE方法中常见的模式过度平坦化问题，即使在高维空间中也能保持多峰结构。
• 所提出方法在多种数据类型（包括图像、加速度计和语音数据）中均表现鲁棒，一致优于基线方法，展现出稳定的性能提升。