[论文解读] Fully dynamic hierarchical diameter k-clustering and k-center

Melanie Schmidt, Christian Sohler|arXiv (Cornell University)|Aug 7, 2019

Algorithms and Data Compression参考文献 17被引用 6

一句话总结

该论文提出了欧几里得空间中分层直径 $k$-聚类和 $k$-中心问题的完全动态数据结构，支持高效的插入、删除和聚类代表点查询。在低维情况下实现了对数多对数时间的更新复杂度，在高维情况下通过基于网格的分层分解和随机采样技术，实现了 $O(d\ell)$-近似，并达到了近乎最优的摊销期望时间复杂度。

ABSTRACT

We develop dynamic data structures for maintaining a hierarchical k-center clustering when the points come from a discrete space $\{1,\ldots,Δ\}^d$. Our first data structure is for the low dimensional setting, i.e., d is a constant, and processes insertions, deletions and cluster representative queries in $\log^{O(1)} (Δn)$ time, where $n$ is the current size of the point set. For the high dimensional case and an integer parameter $\ell > 1$, we provide a randomized data structure that maintains an $O(d \ell)$-approximation. The amortized expected insertion time is $O(d^2 \ell \log n \log Δ)$. The amortized expected deletion time is $O(d^2 n^{1/\ell} \log^2 n \log Δ)$. At any point of time, with probability at least $1-1/n$, the data structure can correctly answer all queries for cluster representatives in $O(d \ell \log n \log Δ)$ time per query.

研究动机与目标

• 设计欧几里得空间中分层 $k$-中心与直径 $k$-聚类的完全动态数据结构，支持高效的插入、删除和聚类代表点查询。
• 解决在动态点更新下维护分层聚类的挑战，其中传统增量算法因级联更新而失效。
• 在低维与高维设置下均实现高效的更新时间，并提供可证明的近似保证。
• 通过基于网格的分解和随机采样，将流式处理与静态 $k$-中心算法扩展至动态、分层设置。

提出的方法

• 该方法采用空间 $\{1,\dots,\Delta\}^d$ 的分层网格分解，每一层对应一个更粗的网格分辨率。
• 在每一层 $i$，点被划分为大小为 $2^i$ 的网格单元，每个单元维护一个代表点集 $I_{i,j}$，以支持快速聚类查询。
• 使用随机采样来限制每个单元内的点数：每个点以概率 $n^{-1/\ell}$ 被包含在 $P_{i,j+1}$ 中，从而确保较低的期望更新成本。
• 动态数据结构维护多层聚类，通过网格单元检查和三角不等式边界按需计算层间指针。
• 在高维设置下，算法使用 $\ell$ 层分层结构，通过基于网格采样的类似随机投影的思想，实现 $O(d\ell)$-近似。
• 聚类代表点查询通过遍历分层结构并在更粗的网格单元中寻找最近点来解决，期望查询时间为 $O(d\ell\log n\log\Delta)$。

实验结果

研究问题

• RQ1 能否在低维欧几里得空间中实现完全动态的分层 $k$-中心聚类，并保持对数多对数时间的更新复杂度？
• RQ2 在高维动态 $k$-中心聚类中，近似质量与更新效率之间的权衡是什么？
• RQ3 如何在不从头重新计算整个结构的前提下，维护插入与删除操作下的分层聚类？
• RQ4 能否使用随机采样与基于网格的分解技术，实现高效的摊销更新时间，同时保持常数因子的近似保证？
• RQ5 在动态更新下，能否维护具有可证明点对点近似比的分层聚类？

主要发现

• 在低维欧几里得空间（$d$ 为常数）中，该数据结构支持插入、删除和聚类代表点查询，时间复杂度为 $\log^{O(1)}(\Delta n)$。
• 在高维空间中，算法实现了 $O(d\ell)$-近似，摊销期望插入时间为 $O(d^2\ell\log n\log\Delta)$。
• 删除操作的摊销期望时间为 $O(d^2n^{1/\ell}\log^2n\log\Delta)$，且聚类查询结果以高概率（$1 - 1/n$）正确。
• 聚类代表点查询的响应时间为每查询 $O(d\ell\log n\log\Delta)$，以高概率成立。
• 正确聚类的成功概率依赖于网格单元的覆盖程度：当 $g \geq 10\log n$ 个网格层级时，距离在 $2^i$ 以内的所有点对以高概率被共置于至少一个网格中。
• 通过分层 $\alpha$-良好集合族构造，维持了近似保证，确保所有聚类中均具有点对 $O(\ell)$-近似。