[论文解读] Faster Balanced Clusterings in High Dimension

Hu Ding|arXiv (Cornell University)|Sep 4, 2018

Facility Location and Emergency Management参考文献 47被引用 3

一句话总结

该论文提出了一种新颖的几何框架，用于在高维空间中实现更快的平衡聚类，通过空间划分简化并加速解决平衡 $k$-center、$k$-median 和 $k$-means 问题。该方法对 $k$-center 实现了 $4$-近似，对 $k$-median 和 $k$-means 实现了常数倍或 $(1+\rho)$-近似，当 $k$ 为常数时，时间复杂度为线性或近乎线性，显著优于先前的方法。

ABSTRACT

The problem of constrained clustering has attracted significant attention in the past decades. In this paper, we study the balanced $k$-center, $k$-median, and $k$-means clustering problems where the size of each cluster is constrained by the given lower and upper bounds. The problems are motivated by the applications in processing large-scale data in high dimension. Existing methods often need to compute complicated matchings (or min cost flows) to satisfy the balance constraint, and thus suffer from high complexities especially in high dimension. We develop an effective framework for the three balanced clustering problems to address this issue, and our method is based on a novel spatial partition idea in geometry. For the balanced $k$-center clustering, we provide a $4$-approximation algorithm that improves the existing approximation factors; for the balanced $k$-median and $k$-means clusterings, our algorithms yield constant and $(1+ε)$-approximation factors with any $ε>0$. More importantly, our algorithms achieve linear or nearly linear running times when $k$ is a constant, and significantly improve the existing ones. Our results can be easily extended to metric balanced clusterings and the running times are sub-linear in terms of the complexity of $n$-point metric.

研究动机与目标

• 为解决现有平衡聚类算法在高维空间中依赖复杂匹配或最小费用流计算导致的计算效率低下问题。
• 开发一种统一的、基于几何的框架，以简化并加速求解三种关键的平衡聚类问题：$k$-center、$k$-median 和 $k$-means。
• 在降低时间复杂度的同时，实现可证明的良好近似比，尤其针对常数 $k$ 的情况。
• 将该框架扩展至度量空间，并确保在 $n$ 上为次线性或近乎线性的时间复杂度。

提出的方法

• 在高维几何中引入一种新颖的空间划分技术，将聚类分配与平衡性强制解耦。
• 使用 Chen 的双准则 $k$-median/$k$-means 算法生成 $O(k)$ 个候选中心，从而缩小搜索空间。
• 采用线性规划（LP）松弛并结合舍入过程（定理 2.2），将分数解转换为满足大小约束的整数聚类分配。
• 利用展开比率 $\Delta$ 和 $\epsilon$-依赖采样，控制距离比值，确保 $k$-median 和 $k$-means 的 $(1+\epsilon)$-近似。
• 借鉴 [14] 和 [26] 的技术，以高概率生成候选的 $k$-元组中心，从而获得 $(1+\epsilon)$-近似解。
• 结合几何洞察与基于 LP 的舍入方法，在最小化计算开销的同时保持近似保证。

实验结果

研究问题

• RQ1 几何空间划分方法能否替代平衡聚类中复杂的匹配或最小费用流计算？
• RQ2 当 $k$ 为常数时，该框架能否在近乎线性时间复杂度下实现 $k$-median 和 $k$-means 的常数倍或 $(1+\epsilon)$-近似？
• RQ3 所提方法在高维欧氏空间和度量空间中的可扩展性如何？
• RQ4 能否在 $k$-center 聚类中将近似因子进一步优于先前的最先进水平？
• RQ5 所提框架中，近似质量与运行时间之间的权衡如何？

主要发现

• 该论文提出了一种针对平衡 $k$-center 聚类的 $4$-近似算法，优于先前的最佳近似因子。
• 对于平衡 $k$-median 和 $k$-means，当 $k$ 为常数时，该方法在 $O(nd + (\log\Delta)^{3k}\log^2(\log\Delta))$ 时间内实现 $O(1)$-近似。
• 通过 [14] 的改进候选生成方法，该算法在 $O(2^{\tilde{O}(k/\epsilon^{O(1)})}(nd + (\frac{\log(\Delta/\epsilon)}{\epsilon})^{3k}(\log\frac{1}{\epsilon} + \log\log\Delta)^2))$ 时间内实现 $k$-median 和 $k$-means 的 $(1+\epsilon)$-近似。
• 该框架可扩展至度量空间，在 $O(nD + (\log\Delta)^{3k}\log^2(\log\Delta))$ 时间内实现 $O(1)$-近似，适用于度量空间下的 $k$-BMedian 和 $k$-BMeans。
• 当 $k$ 固定时，运行时间在 $n$ 上近乎线性，显著优于依赖昂贵流或匹配计算的先前方法。
• 理论分析证实，通过 LP 松弛与舍入，该方法保持了近似保证，且 $r_{\text{max}}/r_{\text{min}}$ 的界限通过展开比率和 $\epsilon$-采样得到控制。