[论文解读] k-means++: few more steps yield constant approximation

Davin Choo, Christoph Grunau+2 more|arXiv (Cornell University)|Feb 18, 2020

Data Management and Algorithms参考文献 20被引用 5

一句话总结

该论文通过证明在初始 k-means++ 初始化后仅进行 εk 次额外的局部搜索步骤，即可在 k 上以高概率获得对 k-means 聚类目标的常数因子近似解，从而改进了 k-means++ 算法。关键贡献在于将所需的局部搜索步骤数从 O(k log log k) 降低至 εk，实现了以高概率的 O(1/ε³) 近似保证，解决了 Lattanzi 和 Sohler（2019）提出的一个开放问题。

ABSTRACT

The k-means++ algorithm of Arthur and Vassilvitskii (SODA 2007) is a state-of-the-art algorithm for solving the k-means clustering problem and is known to give an O(log k)-approximation in expectation. Recently, Lattanzi and Sohler (ICML 2019) proposed augmenting k-means++ with O(k log log k) local search steps to yield a constant approximation (in expectation) to the k-means clustering problem. In this paper, we improve their analysis to show that, for any arbitrarily small constant $\eps > 0$, with only $\eps k$ additional local search steps, one can achieve a constant approximation guarantee (with high probability in k), resolving an open problem in their paper.

研究动机与目标

• 解决 Lattanzi 和 Sohler（2019）提出的开放问题：在 k-means 聚类中，O(k) 次局部搜索步骤是否足以实现常数因子近似？
• 改进 LocalSearch++ 的分析，证明仅需 εk 步即可在 k 上以高概率实现常数因子近似。
• 相较于先前基于期望的分析，提供更强的高概率保证，增强实际与理论上的鲁棒性。
• 深化对局部搜索步骤如何在 k-means++ 初始化后将近似比从 O(log k) 降低至 O(1) 的理论理解。

提出的方法

• 提出对 LocalSearch++ 过程的精细化分析，该过程以与当前成本成比例的概率采样一个点，并在替换现有中心能降低总 k-means 目标函数时执行替换。
• 引入一种基于当前聚类与改进聚类之间成本差异的新型势函数论证，利用最优解的结构性质。
• 基于最优解中聚类的成本贡献相对于当前聚类的大小，进行分情况讨论，区分高影响与低影响聚类。
• 应用浓度不等式与马尔可夫不等式，证明以高概率，近似因子可在 εk 步内从 exp(k^0.1) 降低至 O(1)。
• 通过证明每一步在有利条件下均使成本按常数因子递减，建立近似因子的递归衰减。
• 利用每一步 LocalSearch++ 的摊销时间复杂度为 O(dn) 的事实，使仅需在 k-means++ 之后增加 εk 步即可实现高效的实际部署。

实验结果

研究问题

• RQ1 是否可以将实现 k-means 聚类常数近似所需的局部搜索步数减少至 O(k log log k) 以下？
• RQ2 在 k-means++ 初始化后，仅使用 εk 次局部搜索步骤，是否能在 k 上以高概率实现常数近似？
• RQ3 与先前基于期望的分析相比，常数近似的高概率保证是否在可靠性与实际应用价值方面更具优势？
• RQ4 最优解的何种结构性质使得在 εk 步内实现近似因子的强烈衰减成为可能？
• RQ5 分析是否可进一步细化，以证明即使仅增加少量额外步骤（εk），也能在最坏情况近似比上带来显著改进？

主要发现

• 该论文证明，运行 k-means++ 后再执行 εk 步 LocalSearch++，可在至少 1 - exp(-Ω(k^0.1)) 的概率下，实现对最优 k-means 成本的 O(1/ε³) 近似。
• 该结果优于 Lattanzi 和 Sohler（2019）的结论，后者需 O(k log log k) 步才能以期望方式实现常数近似。
• 新分析提供了高概率保证，强于先前基于期望的界，因为它以高置信度确保常数近似。
• 近似因子迅速衰减：若初始近似因子不超过 exp(k^0.1)，则在 εk 步内以高概率降至 O(1)。
• 该结果在 k ∈ Ω(1/ε²⁰) 时成立，确保即使 ε 较小，该界仍具有实际意义。
• 分析揭示，α（聚类不平衡程度的度量）的立方根依赖关系是 εk 步后获得 O(1/ε³) 近似因子的关键原因。