[论文解读] DBSCAN++: Towards fast and scalable density clustering

Jennifer Jang, Heinrich Jiang|arXiv (Cornell University)|Oct 31, 2018

Advanced Clustering Algorithms Research被引用 43

一句话总结

DBSCAN++ 是一种 DBSCAN 的亚二次变体，它对子集点计算密度，从而在保持竞争力的准确度和对带宽鲁棒性的同时实现更快的聚类。

ABSTRACT

DBSCAN is a classical density-based clustering procedure with tremendous practical relevance. However, DBSCAN implicitly needs to compute the empirical density for each sample point, leading to a quadratic worst-case time complexity, which is too slow on large datasets. We propose DBSCAN++, a simple modification of DBSCAN which only requires computing the densities for a chosen subset of points. We show empirically that, compared to traditional DBSCAN, DBSCAN++ can provide not only competitive performance but also added robustness in the bandwidth hyperparameter while taking a fraction of the runtime. We also present statistical consistency guarantees showing the trade-off between computational cost and estimation rates. Surprisingly, up to a certain point, we can enjoy the same estimation rates while lowering computational cost, showing that DBSCAN++ is a sub-quadratic algorithm that attains minimax optimal rates for level-set estimation, a quality that may be of independent interest.

研究动机与目标

• 在大规模数据集上需要更快速的基于密度的聚类，其原因是 DBSCAN 的最坏情况复杂度为二次。
• 提出 DBSCAN++ 作为一种修改方法，对子集点计算密度以减少计算量。
• 建立统计一致性保证并量化计算开销与估计速率之间的权衡。
• 在真实数据和模拟数据上展示跨超参数的实证加速以及鲁棒的聚类性能。

提出的方法

• 将核心点定义为在 eps 邻域内至少有 minPts 个点的点。
• 提出 DBSCAN++，它选择一个包含 m 个点的子集 S 来计算密度，并从 S 构建一个核心点图。
• 使用均匀采样（算法 2）或贪心 K-中心初始化（算法 3）来选择子集 S。
• 在核心点上构建邻域图，并将聚类视为连通分量，将非核心点分配到最近的核心点。
• 将时间复杂度分析为 O(nm)，并展示其对密度水平集估计的一致性。
• 提供核心点的修剪以提升鲁棒性并防止远距离分量之间的错误连接。

实验结果

研究问题

• RQ1 仅对子集点计算密度是否仍然能够像在 DBSCAN 中那样恢复密度水平集和连通分量？
• RQ2 子集大小 m 与估计速率和聚类精度之间的权衡是什么？
• RQ3 均匀采样和基于 K-中心采样是否提供相对于 DBSCAN 的理论保证和实用鲁棒性优势？
• RQ4 在真实数据集和不同超参数下，DBSCAN++ 在速度和鲁棒性方面的表现如何？

主要发现

• DBSCAN++ 通过仅对 m 个点查询密度实现子二次时间复杂度 O(nm)。
• 推论：当 m 约等于 n^{D/(2β+D)} 时，DBSCAN++ 在对数因子下达到水平集估计的极小极大下界最优速率。
• DBSCAN++ 保持与 DBSCAN 相似的密度水平集估计的一致性保证。
• 均匀初始化和 K-center 初始化在 ε 和 minPts 设置下提供具有竞争力甚至优越的聚类性能和鲁棒性。
• 实证结果显示在真实数据集和图像分割任务上相对于 DBSCAN 显著提速，同时获得相似或更好的聚类分数。