[论文解读] Clustering High Dimensional Dynamic Data Streams

Vladimir Braverman, Gereon Frahling+3 more|arXiv (Cornell University)|Jun 13, 2017

Data Stream Mining Techniques参考文献 21被引用 17

一句话总结

该论文首次为高维动态数据流中的k-中位数问题提出了(1+ϵ)-近似算法，使用关于维度d和域大小∆的对数空间，空间复杂度为多项式级别。该方法通过分层聚类与热点追踪构建共核（coreset），实现O(kd⁴L⁴/ϵ²)的共核大小与˜O(kd⁷L⁷/ϵ²)的空间复杂度，其中L = log ∆，并在高概率下提供(1+ϵ)-近似保证。

ABSTRACT

We present data streaming algorithms for the $k$-median problem in high-dimensional dynamic geometric data streams, i.e. streams allowing both insertions and deletions of points from a discrete Euclidean space $\{1, 2, \ldots Δ\}^d$. Our algorithms use $k ε^{-2} poly(d \log Δ)$ space/time and maintain with high probability a small weighted set of points (a coreset) such that for every set of $k$ centers the cost of the coreset $(1+ε)$-approximates the cost of the streamed point set. We also provide algorithms that guarantee only positive weights in the coreset with additional logarithmic factors in the space and time complexities. We can use this positively-weighted coreset to compute a $(1+ε)$-approximation for the $k$-median problem by any efficient offline $k$-median algorithm. All previous algorithms for computing a $(1+ε)$-approximation for the $k$-median problem over dynamic data streams required space and time exponential in $d$. Our algorithms can be generalized to metric spaces of bounded doubling dimension.

研究动机与目标

• 解决高维数据流中同时存在插入与删除操作的聚类挑战，此前方法在维度d上需要指数级空间。
• 设计一种流式算法，维护一个小型加权共核，使其对k-中位数代价的近似误差在(1+ϵ)以内。
• 确保共核构造在单次遍历模型下可行，支持次线性空间及多项式时间的更新/查询操作。
• 提供带负权重与非负权重的共核变体，后者确保与标准离线k-中位数求解器兼容。
• 将方法推广至有界倍增维数的度量空间。

提出的方法

• 在域[∆]^d上使用分层网格结构，将点划分为多级的单元格，以实现局部代价估计。
• 应用随机哈希方案从每个单元格中采样点，确保密集区域的代表性覆盖。
• 利用HEAVY-HITTER数据结构识别并追踪对整体代价贡献最大的单元格（即热点单元格）。
• 通过结合热点单元格与稀疏单元格的采样结果构建共核，基于估计频率与概率界分配加权贡献。
• 采用递归共核优化过程，通过控制每个聚类区域的加性误差，维持(1+ϵ)-近似。
• 通过校正步骤调整最终共核中的权重，确保非负性与近似正确性。

实验结果

研究问题

• RQ1 能否在空间复杂度为d和log ∆的多项式级别下，于高维动态数据流中实现k-中位数的(1+ϵ)-近似？
• RQ2 如何在单次遍历中构建共核，使其支持插入与删除操作，同时保持(1+ϵ)-近似？
• RQ3 在高概率下，维持此类共核所需的空间与时间复杂度的最小值是多少？
• RQ4 能否构建仅含非负权重的共核，以支持与标准离线k-中位数算法的兼容？
• RQ5 该方法是否可推广至有界倍增维数的度量空间？

主要发现

• 该算法在高维动态数据流中实现了(1+ϵ)-近似k-中位数，空间复杂度为˜O(kd⁷L⁷/ϵ²)，其中L = log ∆。
• 共核大小为O(kd⁴L⁴/ϵ²)，且每次更新的时间复杂度为poly(d, k, L, 1/ϵ)。
• 通过分层采样与热点追踪的结合，该算法以高概率（≥0.99）维持共核。
• 提供了一种子集仅含非负权重的变体，代价为略微增加的空间与时间复杂度，现为˜O(kd⁸L⁸/ϵ²)。
• 该方法可推广至有界倍增维数的度量空间，同时保持(1+ϵ)-近似保证。
• 共核构造确保：对于任意k个中心，共核代价(1+ϵ)-近似于完整点集的真实代价。