[论文解读] Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios

Hiroaki Sasaki, Takafumi Kanamori+3 more|arXiv (Cornell University)|Jul 6, 2017

Yersinia bacterium, plague, ectoparasites research参考文献 55被引用 3

一句话总结

本文提出了一种直接估计密度导数比的估计方法，跳过了传统的三步密度估计流程，并将其应用于模式搜索聚类和密度脊线估计。该方法通过避免中间密度导数估计中的误差传播，在收敛速度方面实现了改进，并在高维设置下显著优于现有方法。

ABSTRACT

Modes and ridges of the probability density function behind observed data are useful geometric features. Mode-seeking clustering assigns cluster labels by associating data samples with the nearest modes, and estimation of density ridges enables us to find lower-dimensional structures hidden in data. A key technical challenge both in mode-seeking clustering and density ridge estimation is accurate estimation of the ratios of the first- and second-order density derivatives to the density. A naive approach takes a three-step approach of first estimating the data density, then computing its derivatives, and finally taking their ratios. However, this three-step approach can be unreliable because a good density estimator does not necessarily mean a good density derivative estimator, and division by the estimated density could significantly magnify the estimation error. To cope with these problems, we propose a novel estimator for the \emph{density-derivative-ratios}. The proposed estimator does not involve density estimation, but rather \emph{directly} approximates the ratios of density derivatives of any order. Moreover, we establish a convergence rate of the proposed estimator. Based on the proposed estimator, novel methods both for mode-seeking clustering and density ridge estimation are developed, and the respective convergence rates to the mode and ridge of the underlying density are also established. Finally, we experimentally demonstrate that the developed methods significantly outperform existing methods, particularly for relatively high-dimensional data.

研究动机与目标

• 解决传统三步方法中先估计密度，再估计其导数，最后计算比值时因误差放大而导致的不稳定性问题。
• 开发一种直接估计密度导数与密度之比的估计器，避免显式密度估计。
• 为所提出的估计器及其在聚类和脊线估计中的应用建立理论收敛速率。
• 在高维数据中提升模式搜索聚类和密度脊线估计的性能。
• 展示所提方法在真实世界和合成数据集上相对于现有最先进方法的实证优越性。

提出的方法

• 该方法使用基于核的方法，在再生核希尔伯特空间（RKHS）中直接估计任意阶密度导数与密度的比值。
• 通过构建绕过密度估计的估计器，避免了三步流程，从而减少了误差传播。
• 该估计器利用RKHS的再生性质，通过与核函数导数的内积来近似导数比。
• 在密度和核函数满足正则性条件的前提下，建立了所提估计器的收敛速率。
• 该方法通过梯度上升法向估计模式收敛实现模式搜索聚类，并通过子空间约束下的投影梯度上升法实现密度脊线估计。
• 引入基于核中心的低秩近似方法，以降低计算成本，同时保持精度。

实验结果

研究问题

• RQ1 与间接的三步方法相比，直接估计密度导数比是否能提高模式搜索聚类和密度脊线估计的可靠性？
• RQ2 所提出的密度导数比直接估计器的理论收敛速率是多少？
• RQ3 在传统方法常失效的高维数据中，所提方法表现如何？
• RQ4 直接估计器是否能在不牺牲聚类或脊线估计精度的前提下降低计算成本？
• RQ5 该方法在真实世界和合成数据集上是否优于现有最先进方法？

主要发现

• 所提出的密度导数比直接估计器实现了 $ O_P(n^{-\text{min}\big\{1/4, \frac{\nu}{2(\nu+1)}\big\}}}) $ 的收敛速率，其中 $ \nu $ 为光滑性参数。
• 实验结果表明，该方法在模式搜索聚类中显著优于现有方法，尤其在高维数据中表现突出，如在三高斯斑点数据集上的表现。
• 在密度脊线估计中，该方法即使在噪声高、维度高的环境中，也能准确恢复低维结构。
• 低秩近似（LSLDGC）显著降低了计算成本，同时仅使用少量核中心即可保持聚类性能。
• 实证结果表明，该方法对噪声具有鲁棒性，并在各种数据分布和维度下保持高精度。
• 理论分析证实，所提估计器避免了传统方法中因除以估计密度而导致的误差放大问题，这是传统方法的关键缺陷。