[论文解读] Analysis and Study of Incremental DBSCAN Clustering Algorithm

Sanjay Chakraborty, Naresh Kumar Nagwani|arXiv (Cornell University)|Jun 18, 2014

Data Mining Algorithms and Applications参考文献 4被引用 16

一句话总结

本文提出了一种增量式DBSCAN算法，能够高效地在动态数据库中更新聚类结果，适用于数据插入或删除后的处理，避免了完整的重新处理。通过在现有聚类中传播变更，并仅重新评估受影响区域，该方法在显著降低计算成本的同时保持了聚类准确性，在数据变化高达30%时与批量DBSCAN结果的偏差不显著。

ABSTRACT

This paper describes the incremental behaviours of Density based clustering. It specially focuses on the Density Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm and its incremental approach.DBSCAN relies on a density based notion of clusters.It discovers clusters of arbitrary shapes in spatial databases with noise.In incremental approach, the DBSCAN algorithm is applied to a dynamic database where the data may be frequently updated. After insertions or deletions to the dynamic database, the clustering discovered by DBSCAN has to be updated. And we measure the new cluster by directly compute the new data entering into the existing clusters instead of rerunning the algorithm.It finally discovers new updated clusters and outliers as well.Thus it describes at what percent of delta change in the original database the actual and incremental DBSCAN algorithms behave like same.DBSCAN is widely used in those situations where large multidimensional databases are maintained such as Data Warehouse.

研究动机与目标

• 解决在动态数据库中每次数据更新后重新运行批量DBSCAN所导致的效率低下问题。
• 设计一种增量算法，以最小计算量保持聚类结构和异常点检测的准确性。
• 评估在不同数据变化程度下，增量方法的性能与准确性。
• 确定增量DBSCAN开始与批量DBSCAN结果产生偏差的临界点。

提出的方法

• 该算法保持现有聚类结构，仅重新评估新插入或删除对象邻域内的数据点。
• 采用基于密度的标准，判断新数据点是否被分配到现有聚类或形成新聚类。
• 每次更新后，算法检查受影响点的可达性与核心点状态，以在聚类结构中传播变更。
• 通过仅关注变更数据周围的局部区域，避免了完整重新处理，相比批量处理显著降低了时间复杂度。
• 集成了一种基于增量的机制，用于跟踪数据库中的变化，并触发局部重新聚类。
• 通过将每次变更后的结果与批量DBSCAN输出进行对比，验证了增量更新过程的正确性。

实验结果

研究问题

• RQ1 在何种数据变化程度下，增量DBSCAN算法开始与批量DBSCAN结果产生偏差？
• RQ2 与重新运行完整DBSCAN算法相比，增量算法在插入或删除操作后更新聚类的效率如何？
• RQ3 数据密度与空间分布对增量聚类过程的稳定性与准确性有何影响？
• RQ4 增量方法如何在动态数据库中保持聚类形状与异常点检测的准确性？
• RQ5 增量DBSCAN在何种最大数据变化百分比下仍能保持可接受的准确性和性能？

主要发现

• 当数据变化在30%以内时，增量DBSCAN算法能将聚类准确性保持在可接受范围内。
• 与完整批量重新处理相比，该算法显著降低了计算成本，尤其在大规模动态数据库中优势明显。
• 该增量方法在数据更新后成功保持了聚类结构，并正确识别了异常点。
• 在多个更新周期中表现出稳定行为，当数据变化适中时，与批量结果的偏差极小。
• 该方法在多维数据库中表现出良好的可扩展性与效率，适用于数据仓库应用场景。
• 性能下降仅在数据变化超过30%时变得明显，表明30%是可靠增量操作的实用阈值。