[论文解读] DBSCAN: Optimal Rates For Density Based Clustering

Daren Wang, Xinyang Lu+1 more|arXiv (Cornell University)|Jun 9, 2017

Advanced Clustering Algorithms Research参考文献 39被引用 5

一句话总结

本文提出了一种基于DBSCAN的、速率最优且计算高效的基于密度的聚类方法，通过核密度估计和嵌套的随机几何图来估计聚类树。在Hölder光滑密度下，该方法建立了聚类树估计的极小极大最优速率，与上范数密度估计的极小极大速率一致，并将这些结果扩展至具有跳跃间断的密度。

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Building up from the seminal work of Chaudhuri et al. [2014], we formulate a new notion of clustering consistency which is better suited to smooth densities, and derive minimax rates of consistency for cluster tree estimation for Holder smooth densities of arbitrary degree α. We present a computationally efficient, rate optimal cluster tree estimator based on a straightforward extension of the popular density-based clustering algorithm DBSCAN by Ester et al. [1996]. The procedure relies on a kernel density estimator with an appropriate choice of the kernel and bandwidth to produce a sequence of nested random geometric graphs whose connected components form a hierarchy of clusters. The resulting optimal rates for cluster tree estimation depend on the degree of smoothness of the underlying density and, interestingly, match minimax rates for density estimation under the supremum norm. Our results complement and extend the analysis of the DBSCAN algorithm in Sriperumbudur and Steinwart [2012]. Finally, we consider level set estimation and cluster consistency for densities with jump discontinuities, where the sizes of the jumps and the distance among clusters are allowed to vanish as the sample size increases. We demonstrate that our DBSCAN-based algorithm remains minimax rate optimal in this setting as well.

研究动机与目标

• 在底层密度满足光滑性假设的前提下，开发一种统计上最优的聚类树估计器。
• 建立显式依赖于密度Hölder光滑度的聚类树估计的极小极大最优速率。
• 将理论保证扩展至具有跳跃间断的密度，表明DBSCAN在跳跃大小和样本大小方面均达到极小极大速率。
• 通过将DBSCAN的性能与上范数密度估计速率相联系，为其提供严格的统计基础。
• 通过引入一种新的$δ$-分离准则，改进聚类一致性，使其更适用于光滑密度。

提出的方法

• 提出一种改进的DBSCAN过程，利用核密度估计器从独立同分布样本构建一系列嵌套的随机几何图。
• 通过这些图的连通分量定义聚类树估计，基于密度等高集形成聚类的层次结构。
• 引入一种新的$δ$-分离准则，以反映光滑性并实现更紧密的相合性分析。
• 在任意阶数$α$的Hölder光滑度假设下，推导聚类树估计的极小极大速率。
• 建立聚类树相合性与上范数$L_{\infty}$中密度估计相合性之间的等价性。
• 证明所提出的估计器达到了与上范数密度估计相同的极小极大最优速率。

实验结果

研究问题

• RQ1 在光滑密度下，DBSCAN能否在理论上被证明为聚类树估计的速率最优估计器？
• RQ2 聚类树估计的极小极大速率如何依赖于底层密度的光滑度（Hölder参数$\alpha$）？
• RQ3 所提出的基于DBSCAN的估计器是否能达到与$L_{\infty}$范数下最优密度估计相同的极小极大速率？
• RQ4 理论保证能否扩展至具有跳跃间断的密度？跳跃大小在收敛速率中起什么作用？
• RQ5 与$(\epsilon,\sigma)$-分离准则相比，新的$\delta$-分离准则在捕捉光滑性和聚类分离方面表现如何？

主要发现

• 所提出的基于DBSCAN的聚类树估计器在任意阶数$\alpha$的Hölder光滑密度下，实现了聚类树估计的极小极大最优速率。
• 聚类树估计的极小极大速率与上范数密度估计的速率一致，表明聚类性能随密度光滑度提高而改善。
• 对于具有跳跃间断的密度，DBSCAN算法达到了极小极大速率，该速率同时依赖于跳跃大小和样本大小。
• $\delta$-分离准则提供了比$(\epsilon,\sigma)$-分离准则更精细且更关注光滑性的聚类分离概念，尤其在$\alpha \leq 1$时表现更优。
• 理论分析证实，DBSCAN不仅计算高效，而且在统计上是最优的，其合并距离的一致性与密度估计在$L_{\infty}$范数下的相合性直接相关。
• 本研究通过在光滑性假设下建立最优性，补充并扩展了先前对DBSCAN的分析，填补了这一广泛使用算法理论理解中的空白。