[论文解读] Sliding Window Algorithms for k-Clustering Problems

Michele Borassi, Alessandro Epasto+3 more|arXiv (Cornell University)|Jun 10, 2020

Data Management and Algorithms参考文献 49被引用 10

一句话总结

本文提出了一种高效的滑动窗口算法，用于k-means和k-median聚类，仅使用O(k polylog w)的空间和每点多项式对数时间的更新开销，即可维持最优解的常数因子近似。该方法结合了动态采样与自适应采样，以及窗口化计算，实现在仅处理近期数据时的高效率与高精度，相较于以往方法在空间和速度方面表现更优，同时保持接近最优的聚类代价。

ABSTRACT

The sliding window model of computation captures scenarios in which data is arriving continuously, but only the latest $w$ elements should be used for analysis. The goal is to design algorithms that update the solution efficiently with each arrival rather than recomputing it from scratch. In this work, we focus on $k$-clustering problems such as $k$-means and $k$-median. In this setting, we provide simple and practical algorithms that offer stronger performance guarantees than previous results. Empirically, we show that our methods store only a small fraction of the data, are orders of magnitude faster, and find solutions with costs only slightly higher than those returned by algorithms with access to the full dataset.

研究动机与目标

• 设计空间与时间高效的k-聚类算法，适用于滑动窗口模型，其中仅考虑最近的w个数据点。
• 通过引入时间上的新近性，克服传统流式模型的局限，受数据新鲜度和隐私法规（如GDPR）的驱动。
• 提供强于以往滑动窗口聚类算法的理论保证，特别是在空间和更新时间复杂度方面。
• 通过最小化存储和计算开销，实现高吞吐量数据流上聚类的实用化部署。
• 在处理每个新数据点时，逐步维护最优k-聚类代价的常数因子近似。

提出的方法

• 基于估计的代价界限，使用自适应采样维护最近w个数据点的动态摘要，避免从头开始重新计算。
• 采用分层摘要策略，设置多级采样概率，每一级对应估计最优代价的不同尺度。
• 根据对直径和最大代价M的运行估计，动态调整采样阈值，其中M通过已知的滑动窗口直径近似算法进行维护。
• 采用双实例机制：维护两个独立的算法实例，每个实例处理大小为w的窗口，使用较旧的实例响应查询，以确保完整窗口覆盖。
• 当最优代价的上界增加时，重用之前层级的摘要，确保向后兼容性并减少重新计算。
• 以窗口化方式应用Meyerson流式聚类算法，并进行修改以处理删除操作和动态代价估计。

实验结果

研究问题

• RQ1 我们能否设计一种滑动窗口k-聚类算法，在w的次线性空间和多项式对数更新时间下，实现对最优解的常数因子近似？
• RQ2 如何在数据点持续添加、旧点被丢弃的动态窗口中，维持准确的聚类摘要？
• RQ3 在滑动窗口模型中，维持k-median和k-means的常数因子近似所需的最小空间与时间复杂度是多少？
• RQ4 如何在不从头重新计算所有摘要的情况下，高效应对代价上界M的增加？
• RQ5 与全量数据重新处理相比，我们能在多大程度上减少存储和更新时间，同时保持解决方案质量？

主要发现

• 所提出的算法在滑动窗口模型中，对k-means和k-median聚类均实现了常数因子近似，达到离线聚类的最佳已知近似比。
• 该算法仅使用O(k polylog w)的空间和每数据点多项式对数的更新时间，显著优于以往具有k立方依赖关系的方法。
• 实验评估表明，该算法仅存储数据的极小部分，运行速度比全量重新计算方法快数个数量级，且产生的解的代价仅比全数据集算法略高。
• 该方法通过已知的直径估计算法动态维护最优代价的上界，从而实现高效的摘要管理，并修剪过时或无关的采样层级。
• 双实例机制确保每个查询均使用完整的w大小窗口进行响应，从而在保持解决方案质量的同时支持增量更新。
• 理论分析证明，即使代价上界M增加，摘要大小仍被限制在O(k polylog w)以内，这是由于基于直径增长将数据流对数分块所致。