[论文解读] A bi-criteria approximation algorithm for $k$ Means

Konstantin Makarychev, Yury Makarychev+2 more|arXiv (Cornell University)|Jul 15, 2015

Facility Location and Emergency Management参考文献 13被引用 10

一句话总结

本文提出了一种k-means问题的双准则近似算法，允许开启βk个聚类而非精确的k个，从而实现显著改进的近似比α(β)，且该比值随β增大而减小。该方法结合线性规划舍入与局部搜索，保证了α(β) ≤ 9+ε，且α(2) < 2.59，α(3) < 1.4，同时在维度上具有多项式依赖性，使其在高维场景下依然高效。

ABSTRACT

We consider the classical $k$-means clustering problem in the setting bi-criteria approximation, in which an algoithm is allowed to output $βk &gt; k$ clusters, and must produce a clustering with cost at most $α$ times the to the cost of the optimal set of $k$ clusters. We argue that this approach is natural in many settings, for which the exact number of clusters is a priori unknown, or unimportant up to a constant factor. We give new bi-criteria approximation algorithms, based on linear programming and local search, respectively, which attain a guarantee $α(β)$ depending on the number $βk$ of clusters that may be opened. Our gurantee $α(β)$ is always at most $9 + ε$ and improves rapidly with $β$ (for example: $α(2)&lt;2.59$, and $α(3) &lt; 1.4$). Moreover, our algorithms have only polynomial dependence on the dimension of the input data, and so are applicable in high-dimensional settings.

研究动机与目标

• 解决当聚类数k的精确值不确定或在常数因子范围内不重要的k-means聚类挑战。
• 设计一种双准则近似算法，允许使用βk > k个聚类，以获得在精确使用k个聚类时无法实现的更优近似比。
• 提供在维度上具有多项式依赖性的算法，确保其在高维数据场景下的适用性。
• 通过放宽聚类数量的限制，改进现有常数因子近似算法。

提出的方法

• 将k-means问题转化为具有离散候选中心集的k-median问题，利用降维技术确保候选集大小为多项式规模。
• 采用线性规划舍入方法选择βk个中心，其舍入方案可保证有界的近似比。
• 使用局部搜索算法，其中中心集合之间的替换操作根据覆盖与捕获特性加权，以控制成本增加。
• 分析过程中构建一组加权替换操作，使得每个最优中心在总权重为β的替换中出现，而每个当前中心最多出现在总权重为(1+1/p)的替换中，从而实现成本比较。
• 该方法利用一个关键结构特性：对于任意替换操作，成本变化量受点到旧中心与新中心距离差值的有界控制。
• 最终的近似比通过组合加权成本不等式并应用定理7，将k-median成本与k-means成本关联，得出α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε))

实验结果

研究问题

• RQ1 通过略微超过聚类数量，双准则k-means近似算法是否能实现优于已知常数因子算法的近似比？
• RQ2 当β超过1时，近似比α(β)如何衰减？对于较小的β值，其量化收益如何？
• RQ3 此类算法能否在数据维度p上保持多项式依赖性，从而确保在高维场景下的可扩展性？
• RQ4 能否在聚类数量约束放宽的条件下，设计出具有可证明双准则保证的k-means局部搜索算法？

主要发现

• 该算法实现了近似比α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε))，其值始终不超过9+ε，且随β增大迅速下降。
• 当β=2时，近似比严格小于2.59，显著优于以往结果，后者需几乎10倍更多的聚类才能获得类似保证。
• 当β=3时，近似比降至1.4以下，表明仅使用3k个聚类即可实现接近最优的性能。
• 对于β接近1的情况，局部搜索算法优于基于LP的方法；而对于较大的β值，基于LP的方法表现更优，二者展现出互补优势。
• 该算法运行时间在点数和维度上均为多项式时间，确保在高维数据上的可扩展性。
• 该方法实现了(β, α(β))双准则近似，当β=1.3时α(β) < 6.45，当β=1.5时α(β) < 4.8，展现出聚类数量与解质量之间的强大权衡。