[论文解读] Clustering Stream Data by Exploring the Evolution of Density Mountain

Shufeng Gong, Yanfeng Zhang+1 more|arXiv (Cornell University)|Oct 2, 2017

Advanced Clustering Algorithms Research参考文献 31被引用 13

一句话总结

EDMStream 是一种实时流聚类算法，通过将数据分布建模为“密度山峰”并使用分层依赖树（DP-Tree）高效更新聚类结构，实现对演化聚类的追踪。与最先进的方法如 D-Stream 和 DenStream 相比，EDMStream 在保持相近聚类质量的同时，实现了 7–15 倍的聚类更新速度提升，并支持在线演化追踪。

ABSTRACT

Stream clustering is a fundamental problem in many streaming data analysis applications. Comparing to classical batch-mode clustering, there are two key challenges in stream clustering: (i) Given that input data are changing continuously, how to incrementally update clustering results efficiently? (ii) Given that clusters continuously evolve with the evolution of data, how to capture the cluster evolution activities? Unfortunately, most of existing stream clustering algorithms can neither update the cluster result in real time nor track the evolution of clusters. In this paper, we propose an stream clustering algorithm EDMStream by exploring the Evolution of Density Mountain. The density mountain is used to abstract the data distribution, the changes of which indicate data distribution evolution. We track the evolution of clusters by monitoring the changes of density mountains. We further provide efficient data structures and filtering schemes to ensure the update of density mountains in real time, which makes online clustering possible. The experimental results on synthetic and real datasets show that, comparing to the state-of-the-art stream clustering algorithms, e.g., D-Stream, DenStream, DBSTREAM and MR-Stream, our algorithm can response to a cluster update much faster (say 7-15x faster than the best of the competitors) and at the same time achieve comparable cluster quality. Furthermore, EDMStream can successfully capture the cluster evolution activities.

研究动机与目标

• 为解决在高速数据流中实时聚类更新的挑战，现有算法依赖昂贵的离线重新聚类。
• 通过监测密度山峰结构的变化，实现对聚类演化（如合并或分裂）的持续追踪。
• 设计高效的数拯结构和过滤机制，支持增量更新而无需完整重新处理。
• 在通用硬件上实现低于 23 μs 的低延迟响应（聚类更新），同时保持聚类准确性。
• 提供统一框架，支持快速在线聚类与动态演化检测，克服批处理模式和事后演化追踪的局限性。

提出的方法

• 该算法将数据分布建模为“密度山峰”，其中聚类中心对应山峰顶点，边界对应山脚，从而实现对聚类结构的可视化与计算追踪。
• 引入依赖树（DP-Tree），一种分层结构，用于捕捉聚类单元与其最近的更高密度邻居之间的依赖关系，形成密度连通组件的树状结构。
• 使用聚类单元来总结数据的高密度区域，降低计算开销，支持对高速流数据的可扩展处理。
• 应用高效的过滤机制，将更新范围限制在 DP-Tree 中受影响的子树，确保对新数据点的低延迟响应。
• 利用到最近更高密度点的距离（δ）作为关键指标，检测聚类边界及演化事件（如分裂或合并）。
• 直接从 DP-Tree 计算在线聚类结果更新，无需离线重新聚类，从而实现真正的实时响应。

实验结果

研究问题

• RQ1 流聚类算法是否能在不依赖周期性离线重新聚类的情况下实现实时聚类更新？
• RQ2 如何在数据摄入过程中持续检测并追踪聚类演化（如合并或分裂）？
• RQ3 像 DP-Tree 这样的分层树结构是否能比平面图结构或基于摘要的结构实现更快、更可扩展的聚类更新？
• RQ4 与传统基于密度或基于微聚类的方法相比，追踪密度山峰演化在多大程度上提升了聚类准确性和响应速度？
• RQ5 所提出的算法在合成和真实世界流数据上的更新延迟和可扩展性表现如何？

主要发现

• EDMStream 在通用硬件上实现了平均 7–23 μs 的聚类更新延迟，比表现最佳的竞争对手（如 D-Stream 和 DenStream）快 7–15 倍。
• 该算法通过监测 DP-Tree 中的结构变化和密度山峰演化，成功捕捉了聚类演化活动（如合并与分裂）。
• 尽管专注于速度和在线更新，EDMStream 仍保持了与 DBSTREAM、DenStream 和 MR-Stream 等最先进算法相当的聚类质量。
• 使用聚类单元和 DP-Tree 结构显著降低了计算开销，实现了无需完整重新处理的高效增量更新。
• 过滤机制与基于树的依赖追踪使算法能够将更新局部化到受影响的子树，最大限度减少处理成本和延迟。
• EDMStream 展现出对数据演化的强适应能力，能实时动态调整聚类结构以响应数据分布的变化。