[论文解读] Efficient Dynamic Clustering: Capturing Patterns from Historical Cluster Evolution

Binbin Gu, Saeed Kargar+1 more|arXiv (Cornell University)|Jan 1, 2022

Data Stream Mining Techniques被引用 6

一句话总结

该论文提出 DynamicC，一种通过机器学习增强的系统，能够从历史批处理聚类结果中学习聚类演化模式，从而在高速数据环境中实现快速、准确的动态聚类。通过训练模型以学习聚类在数据更新下的变化模式，DynamicC 预测合并/分裂决策，并利用目标函数的启发式方法进行处理，实现了接近批处理方法的准确性，同时相比最先进方法显著降低了延迟。

ABSTRACT

Clustering aims to group unlabeled objects based on similarity inherent among them into clusters. It is important for many tasks such as anomaly detection, database sharding, record linkage, and others. Some clustering methods are taken as batch algorithms that incur a high overhead as they cluster all the objects in the database from scratch or assume an incremental workload. In practice, database objects are updated, added, and removed from databases continuously which makes previous results stale. Running batch algorithms is infeasible in such scenarios as it would incur a significant overhead if performed continuously. This is particularly the case for high-velocity scenarios such as ones in Internet of Things applications. In this paper, we tackle the problem of clustering in high-velocity dynamic scenarios, where the objects are continuously updated, inserted, and deleted. Specifically, we propose a generally dynamic approach to clustering that utilizes previous clustering results. Our system, DynamicC, uses a machine learning model that is augmented with an existing batch algorithm. The DynamicC model trains by observing the clustering decisions made by the batch algorithm. After training, the DynamicC model is usedin cooperation with the batch algorithm to achieve both accurate and fast clustering decisions. The experimental results on four real-world and one synthetic datasets show that our approach has a better performance compared to the state-of-the-art method while achieving similarly accurate clustering results to the baseline batch algorithm.

研究动机与目标

• 解决在动态数据库中每次数据更新后重新运行批处理聚类算法带来的高计算开销问题。
• 设计一种通用的动态聚类系统，适用于任何批处理聚类算法，且不依赖于特定算法的假设。
• 通过学习聚类演化的可预测模式，降低物联网和云应用等高速工作负载中的延迟。
• 在通过学习预测显著提升性能的同时，保持与批处理方法相当的聚类质量。
• 支持持续再训练和模型自适应，以应对不断变化的数据工作负载。

提出的方法

• DynamicC 在批处理聚类算法对插入、删除和修改操作的响应中生成的历史聚类演化数据上训练机器学习模型。
• 系统使用紧凑的二进制决策（合并或分裂）和全局相似性度量来表示聚类变化，以降低维度并实现高效学习。
• 在预测阶段，模型输出通用的合并/分裂决策，随后通过基于聚类目标函数的启发式方法映射到具体节点移动。
• 系统通过检查变更是否改善目标函数得分来验证预测，拒绝不准确的预测以保持聚类质量。
• DynamicC 支持持续再训练，以适应不断变化的数据模式，并长期保持模型准确性。
• 该方法与底层批处理算法无关，可仅通过少量修改集成 k-means、DBSCAN 等多种聚类技术。

实验结果

研究问题

• RQ1 机器学习模型能否从动态数据库中的历史批处理聚类结果中学习并预测聚类演化模式？
• RQ2 如何以紧凑且有效的方式表示聚类演化，以支持高效训练和预测？
• RQ3 学习到的模型能否在高速工作负载中实现与批处理方法相当的聚类准确性，同时降低延迟？
• RQ4 当模型输出可能不准确时，系统如何确保预测的正确性？
• RQ5 模型在多大程度上可以持续再训练以适应不断变化的数据模式？

主要发现

• 在 Cora 数据集上，DynamicC 的 F1 得分为 0.997；在 Music 数据集上为 0.994；在 Synthetic 数据集上为 0.992，与基线批处理算法相当。
• 在 Cora 数据集上，DynamicC 相比最先进方法显著降低了延迟，同时保持了近乎完美的 F1 得分。
• 当在 Cora 数据集的 80% 数据上进行训练时，逻辑回归模型达到 98% 的召回率和 98% 的准确率，表明其具有强大的学习收敛能力。
• 所有机器学习模型（逻辑回归、SVM、决策树）的训练时间即使在 20,000 个训练样本下也保持在 1 秒以内。
• 系统的基于启发式的动作映射确保仅改善目标函数的预测才会被应用，从而保持聚类质量。
• DynamicC 支持持续再训练，使模型能够适应长期的数据漂移，并长期维持性能。