[论文解读] Achieving Approximate Soft Clustering in Data Streams

Vaneet Aggarwal, Shankar Krishnan|arXiv (Cornell University)|Jul 26, 2012

Advanced Clustering Algorithms Research参考文献 21被引用 5

一句话总结

本文提出了一种用于数据流中近似软聚类的一次遍历流算法，将 k-means++ 框架扩展至流处理和滑动窗口模型。通过利用硬聚类 k-means 的伪近似，并将其适配于内存受限的动态数据，该算法实现了软 k-means 的 O(log k)-竞争近似。

ABSTRACT

In recent years, data streaming has gained prominence due to advances in technologies that enable many applications to generate continuous flows of data. This increases the need to develop algorithms that are able to efficiently process data streams. Additionally, real-time requirements and evolving nature of data streams make stream mining problems, including clustering, challenging research problems. In this paper, we propose a one-pass streaming soft clustering (membership of a point in a cluster is described by a distribution) algorithm which approximates the "soft" version of the k-means objective function. Soft clustering has applications in various aspects of databases and machine learning including density estimation and learning mixture models. We first achieve a simple pseudo-approximation in terms of the "hard" k-means algorithm, where the algorithm is allowed to output more than $k$ centers. We convert this batch algorithm to a streaming one (using an extension of the k-means++ algorithm recently proposed) in the "cash register" model. We also extend this algorithm when the clustering is done over a moving window in the data stream.

研究动机与目标

• 设计一种高效的一次遍历流算法，用于高吞吐量、实时数据流中的软聚类。
• 将 k-means++ 算法扩展至流处理和移动窗口模型，以提升聚类质量。
• 通过与硬聚类 k-means 问题的关联，建立软 k-means 的理论近似保证。
• 为具有动态数据删除与插入的滑动窗口提供内存高效的软聚类解决方案。
• 通过实验验证 k-means++ 初始化在收敛速度和目标函数值方面优于标准 EM 的优越性。

提出的方法

• 使用硬 k-means 问题的伪近似，允许使用超过 k 个中心以获得有界近似因子。
• 通过多层聚类层次结构与核心集构建，将 k-means++ 算法适配至流处理的“现金寄存器”模型。
• 通过维护大小为 L 的滑动窗口并使用加权平均动态更新聚类中心，将算法扩展至移动窗口模型。
• 采用 t 层分层聚类结构，每层处理 M 个点并将其压缩为 3k log k 个中心，从而实现高效的窗口滑动。
• 应用竞争分析框架，证明在滑动窗口模型中 k-means 的 O(log k)-竞争力。
• 通过保持目标函数结构的变换，将 k-means 的近似保证转移至软 k-means。

实验结果

研究问题

• RQ1 在高维连续数据流存在的情况下，流算法能否实现软 k-means 的常数因子近似？
• RQ2 如何将 k-means++ 初始化适配至流处理和滑动窗口模型，以在内存受限条件下保持近似质量？
• RQ3 流式软聚类算法在移动窗口上的理论竞争比是多少？
• RQ4 与标准 EM 相比，基于 k-means++ 的初始化在收敛速度和目标函数值方面表现如何？
• RQ5 能否使用基于核心集的方法在动态数据插入与删除下，维护滑动窗口中的近似聚类中心？

主要发现

• 所提出的算法在滑动窗口模型中对 k-means 实现了 O(log k)-竞争力，其内存复杂度为 O(L^ε(k log k)^{1−ε})，其中 ε = 1/(t+1)。
• 软 k-means 目标函数的近似比为 O(k^m(1−m) log k)，该结果源自 k-means 的近似保证。
• 实验结果表明，k-means++ 初始化可使目标函数值最多降低 89.91%，并在 Spam 数据集（n=4601, d=58）上将运行时间提升最多 83%。
• 在 Cloud 数据集（n=1024, d=10）上，EM++ 实现了最多 83% 的运行时间提升和 33.85% 的潜在函数值降低。
• 通过在第 t 层动态用前一层次的新中心替换最旧的 3k log k 个点，该算法在窗口滑动时仍能保持 O(log k)-竞争力。
• 该方法支持现金寄存器模型和移动窗口模型，实现了具有有界内存和近似误差的实时软聚类。