[论文解读] Improved Approximations for Euclidean $k$-means and $k$-median, via Nested Quasi-Independent Sets

Vincent Cohen-Addad, Hossein Esfandiari+2 more|arXiv (Cornell University)|Apr 11, 2022

Automated Road and Building Extraction被引用 6

一句话总结

本文提出了一种新颖的原始-对偶算法，用于欧几里得空间中的 $k$-中位数和 $k$-均值聚类，通过利用嵌套拟独立集，实现了更优的近似比。通过利用欧几里得度量的几何结构，并引入基于嵌套拟独立集的精细化中心移除技术，作者在高维欧几里得空间中实现了 $k$-中位数的 2.406-近似和 $k$-均值的 5.912-近似，优于以往的界。

ABSTRACT

Motivated by data analysis and machine learning applications, we consider the popular high-dimensional Euclidean $k$-median and $k$-means problems. We propose a new primal-dual algorithm, inspired by the classic algorithm of Jain and Vazirani and the recent algorithm of Ahmadian, Norouzi-Fard, Svensson, and Ward. Our algorithm achieves an approximation ratio of $2.406$ and $5.912$ for Euclidean $k$-median and $k$-means, respectively, improving upon the 2.633 approximation ratio of Ahmadian et al. and the 6.1291 approximation ratio of Grandoni, Ostrovsky, Rabani, Schulman, and Venkat. Our techniques involve a much stronger exploitation of the Euclidean metric than previous work on Euclidean clustering. In addition, we introduce a new method of removing excess centers using a variant of independent sets over graphs that we dub a "nested quasi-independent set". In turn, this technique may be of interest for other optimization problems in Euclidean and $\ell_p$ metric spaces.

研究动机与目标

• 开发高维欧几里得空间中 $k$-中位数和 $k$-均值聚类问题的改进近似算法。
• 通过利用欧几里得度量的几何结构，克服依赖通用度量空间技术的先前算法的局限性。
• 设计一种新的中心移除机制，避免聚类解中的重复计数，从而获得更紧的近似保证。
• 在欧几里得空间中，实现优于当前最优的 2.633（$k$-中位数）和 6.1291（$k$-均值）的近似比。
• 引入并形式化嵌套拟独立集的概念，作为一种可推广的基于度量的优化技术。

提出的方法

• 作者基于 Jain 和 Vazirani 以及 Ahmadian 等人的原始-对偶框架，开发了一种适用于欧几里得度量的算法。
• 他们提出了一类新的独立集变体，称为“嵌套拟独立集”，以系统性地移除过多的中心，同时保持解的质量。
• 该算法采用分层分析客户-中心分配关系，根据接近度和冲突结构将客户划分为三组。
• 通过参数 $\delta_1 = \sqrt{2}$，$\delta_2 = 1.395$，和 $\delta_3 = 2 - \sqrt{2}$ 控制分离与重叠，推导出关键不等式以界定每组客户贡献的上界。
• 分析涉及对不同客户类型界定比率 $\rho^{(i)}(p)$，并在 $p \in [0.01, 0.068]$ 上进行数值优化，以最小化整体近似比。
• 最终的近似保证通过求解包含 $Q_i$、$R_i$ 和 $\rho^{(i)}$ 函数的线性约束系统得出，并在附录 C 中通过数值分析验证。

实验结果

研究问题

• RQ1 欧几里得度量的结构能否被利用，以在 $k$-中位数和 $k$-均值问题中实现优于通用度量空间已知近似比的结果？
• RQ2 能否设计一种中心移除机制，避免重复计数，并在高维聚类中提升近似比？
• RQ3 在具有几何约束的原始-对偶框架下，欧几里得 $k$-中位数和 $k$-均值问题可达到的最紧近似比是多少？
• RQ4 通过嵌套方式能否对拟独立集的概念进行泛化和强化，从而在度量聚类中获得更紧的界？
• RQ5 对客户组比率 $\rho^{(i)}(p)$ 的数值界如何影响最终分析中的整体近似比？

主要发现

• 本文在欧几里得 $k$-中位数问题上实现了 2.406-近似，优于先前最优的 2.633。
• 对于欧几里得 $k$-均值问题，该算法实现了 5.912-近似，优于先前最优的 6.1291。
• 该改进得益于一种新颖的中心移除技术，利用嵌套拟独立集，更有效地控制了解的重复计数。
• 通过几何分离参数和在 $p \in [0.01, 0.068]$ 上的数值优化，严格界定了客户组的贡献。
• 该方法通过一种精细化的原始-对偶框架实现其近似比，该框架紧密耦合了客户分配与中心选择。
• 结果表明，欧几里得空间中的几何结构可被利用，以超越通用度量空间的已知不可近似性界。