[论文解读] Density Level Set Estimation on Manifolds with DBSCAN

Heinrich Jiang|arXiv (Cornell University)|Mar 10, 2017

Statistical Methods and Inference参考文献 25被引用 11

一句话总结

本文首次对流形上的密度水平集估计问题进行了DBSCAN的理论分析，证明当数据位于$d$维流形上时，DBSCAN可实现最优的Hausdorff误差率$\widetilde{O}(n^{-1/(2\beta + d \cdot \max\{1,\beta\})})$，与已知的极小极大下界仅相差对数因子。此外，本文提出了一种完全基于数据的参数调优方法，可自适应地处理未知的内在维数、光滑度和密度水平，而无需任何先验知识。

ABSTRACT

We show that DBSCAN can estimate the connected components of the $λ$-density level set $\{ x : f(x) \ge λ\}$ given $n$ i.i.d. samples from an unknown density $f$. We characterize the regularity of the level set boundaries using parameter $β> 0$ and analyze the estimation error under the Hausdorff metric. When the data lies in $\mathbb{R}^D$ we obtain a rate of $\widetilde{O}(n^{-1/(2β+ D)})$, which matches known lower bounds up to logarithmic factors. When the data lies on an embedded unknown $d$-dimensional manifold in $\mathbb{R}^D$, then we obtain a rate of $\widetilde{O}(n^{-1/(2β+ d\cdot \max\{1, β\})})$. Finally, we provide adaptive parameter tuning in order to attain these rates with no a priori knowledge of the intrinsic dimension, density, or $β$.

研究动机与目标

• 提供DBSCAN在估计$\{x: f(x) \geq \lambda\}$（即$\lambda$-密度水平集）的连通分量方面的首次理论分析。
• 刻画在Hausdorff度量下，特别是在流形嵌入数据存在时的估计误差。
• 推导DBSCAN在全维空间与低维流形设置下的最优收敛速率。
• 设计一种完全自适应的参数调优策略，使DBSCAN在无需事先知晓$\beta$、$d$或$\lambda$的情况下实现最优收敛速率。
• 通过展示DBSCAN可实现水平集估计的最先进一致性结果，弥合理论保证与实际应用之间的鸿沟。

提出的方法

• 以$\varepsilon$-邻域图为基础，将$k$-最近邻图分析中的技术适配至$\varepsilon$-图。
• 在流形假设下提出一种新颖的$k$-NN密度估计界，将Dasgupta与Kpotufe（2014）的结果推广至低维流形。
• 利用水平集边界处的$\beta$-正则性来控制几何复杂度，并推导误差界。
• 通过结合密度估计界与流形上的几何集中性论证，推导出Hausdorff误差率。
• 提出一种基于数据的$\text{minPts}$与$\varepsilon$的调优规则，使用$k = \lfloor (\log n)^5 \rfloor$和自适应的$r = 1/\sqrt{\log n}$来估计$\beta$与$d$。
• 采用两阶段程序：首先估计$\beta$与内在维数$d$，然后据此设定$\text{minPts}$与$\varepsilon$，以实现最优收敛速率。

实验结果

研究问题

• RQ1 DBSCAN能否在嵌入于$\mathbb{R}^D$的低维流形上一致估计$\lambda$-密度水平集的连通分量？
• RQ2 当数据位于$d$维流形上时，DBSCAN在Hausdorff误差下的最优收敛速率是什么？
• RQ3 能否设计一种完全自适应的DBSCAN参数调优方法，使其在不预先知晓$\beta$、$d$或$\lambda$的情况下实现最优收敛速率？
• RQ4 DBSCAN的估计速率在流形设置下与已知的极小极大下界相比如何？
• RQ5 水平集边界处的$\beta$-正则性假设是否足以在Hausdorff度量下推导出最优收敛速率？

主要发现

• 在全维空间$\mathbb{R}^D$中，DBSCAN实现的Hausdorff估计速率为$\widetilde{O}(n^{-1/(2\beta + D)})$，与已知的极小极大下界仅相差对数因子。
• 当数据位于$d$维流形上时，DBSCAN实现的速率为$\widetilde{O}(n^{-1/(2\beta + d \cdot \max\{1,\beta\}})})$，在$0 < \beta \leq 1$时与已知的$d$维下界一致，仅相差对数因子。
• 本文提出了一种基于数据的调优程序，通过使用$k \approx (\log n)^5$与$r = 1/\sqrt{\log n}$自适应选择$\text{minPts}$与$\varepsilon$，从而在不预先知晓$\beta$、$d$或$\lambda$的情况下实现最优收敛速率。
• 该方法在高概率下确保了真实连通分量$\mathcal{C}_\lambda$与估计分量$\widehat{\mathcal{C}}_\lambda$之间的一一对应关系。
• 分析表明，在某些情形下，流形上$k$-NN密度估计器的误差将收敛速率限制在$\widetilde{O}(n^{-1/(2+d)})$，这表明当$\beta > 1$时可能存在次优性。
• 该理论框架表明，尽管DBSCAN是一种实用算法，但其在Hausdorff度量下实现了目前已知最强的一致性结果，用于密度水平集估计。