[论文解读] Linear density-based clustering with a discrete density model

Roberto Pirrone, Vincenzo Cannella+2 more|arXiv (Cornell University)|Jul 21, 2018

Data Management and Algorithms参考文献 35被引用 5

一句话总结

本文提出 Lin-DBSCAN，一种线性时间密度聚类算法，通过使用基于离散网格的密度模型，在地理空间数据上实现 O(n) 时间复杂度，显著提升运行速度，同时保持聚类质量。该方法将 DBSCAN 的邻域搜索替换为网格扫描与合并策略，使低资源设备也能实现实时性能，且不损失聚类准确性。

ABSTRACT

Density-based clustering techniques are used in a wide range of data mining applications. One of their most attractive features con- sists in not making use of prior knowledge of the number of clusters that a dataset contains along with their shape. In this paper we propose a new algorithm named Linear DBSCAN (Lin-DBSCAN), a simple approach to clustering inspired by the density model introduced with the well known algorithm DBSCAN. Designed to minimize the computational cost of density based clustering on geospatial data, Lin-DBSCAN features a linear time complexity that makes it suitable for real-time applications on low-resource devices. Lin-DBSCAN uses a discrete version of the density model of DBSCAN that takes ad- vantage of a grid-based scan and merge approach. The name of the algorithm stems exactly from its main features outlined above. The algorithm was tested with well known data sets. Experimental results prove the efficiency and the validity of this approach over DBSCAN in the context of spatial data clustering, enabling the use of a density-based clustering technique on large datasets with low computational cost.

研究动机与目标

• 为解决 DBSCAN 在实时和低资源应用中计算成本过高的问题。
• 开发一种时间复杂度为线性的聚类算法，同时保留 DBSCAN 的形状无关性和噪声检测能力。
• 实现在大规模地理空间数据集（如机器人视觉中深度传感器的数据）上的高效聚类。
• 为实时计算机视觉和嵌入式系统提供 DBSCAN 的实用替代方案。
• 通过离散密度模型显著降低执行时间，同时保持聚类质量。

提出的方法

• 该算法使用稀疏网格将输入空间离散化为均匀、规则的单元格，每个单元格代表一个空间箱。
• 每个网格单元格存储落入其边界的点数，形成离散密度表示。
• 通过满足最小点数阈值（MinPts）的相邻网格单元格合并形成聚类，采用连通分量标记策略。
• 邻域查询被直接访问网格单元格所取代，避免了昂贵的距离计算。
• 算法对网格进行单次遍历处理，实现二维和三维空间数据的 O(n) 时间复杂度。
• 基于数据分布和网格分辨率，应用启发式方法进行参数估计（Eps 和 MinPts）。

实验结果

研究问题

• RQ1 是否可以使用离散密度模型在保持聚类质量的前提下，实现密度聚类的线性时间复杂度？
• RQ2 在真实地理空间数据集上，Lin-DBSCAN 与 DBSCAN 在执行时间和聚类准确性方面有何差异？
• RQ3 与原始 DBSCAN 相比，基于网格的近似对聚类结果的影响程度如何？
• RQ4 Lin-DBSCAN 是否能有效部署于高帧率数据的实时应用（如机器人视觉）中？
• RQ5 Lin-DBSCAN 对参数选择的敏感程度如何？能否推导出稳健的启发式方法以实现自动配置？

主要发现

• 在 S-Easy 数据集上，Lin-DBSCAN 的平均帧率为 18.39 FPS，优于 DBSCAN 的 17.49 FPS，显示出可测量的性能提升。
• Lin-DBSCAN 的平均聚类时间仅为每帧 0.0025 秒，略快于 DBSCAN 的 0.0027 秒。
• 尽管存在近似，Lin-DBSCAN 的聚类结果在聚类质量上与 DBSCAN 几乎完全一致，经内部和外部评估指标验证。
• 随着数据集规模增大，Lin-DBSCAN 与 DBSCAN 的性能差距进一步扩大，表明其在大数据场景下具备更好的可扩展性。
• 该算法在各帧间保持了稳定的性能，系统级干扰导致的峰值极小，显示出良好的鲁棒性。
• 将 Lin-DBSCAN 集成到实时机器人视觉流水线后，既保持了碰撞规避功能，又提升了帧率。