[论文解读] Improved smoothed analysis of the k-means method

Bodo Manthey, Heiko Röglin|arXiv (Cornell University)|Jan 4, 2009

Data Management and Algorithms参考文献 9被引用 24

一句话总结

本文通过建立更紧的期望运行时间上界，改进了k-means聚类算法的平滑化分析。证明了在n、k、d和σ⁻¹方面存在多项式上界，表明k-means在一维数据及某些参数配置下以平滑多项式时间运行，显著缩小了理论最坏情况与实际性能之间的差距。

ABSTRACT

The k-means method is a widely used clustering algorithm. One of its distinguished features is its speed in practice. Its worst-case running-time, however, is exponential, leaving a gap between practical and theoretical performance. Arthur and Vassilvitskii [3] aimed at closing this gap, and they proved a bound of poly(nk, σ−1) on the smoothed running-time of the k-means method, where n is the number of data points and σ is the standard deviation of the Gaussian perturbation. This bound, though better than the worst-case bound, is still much larger than the running-time observed in practice.We improve the smoothed analysis of the k-means method by showing two upper bounds on the expected running-time of k-means. First, we prove that the expected running-time is bounded by a polynomial in n√k and σ−1. Second, we prove an upper bound of kkd·poly(n, σ−1), where d is the dimension of the data space. The polynomial is independent of k and d, and we obtain a polynomial bound for the expected running-time for k, d ∈ O(√logn/log logn).Finally, we show that k-means runs in smoothed polynomial time for one-dimensional instances.

研究动机与目标

• 为缩小k-means算法的实际运行速度与理论最坏情况运行时间之间的差距。
• 改进平滑化分析框架，以获得更紧的期望运行时间上界。
• 建立更符合实际观测的期望运行时间的多项式上界。
• 识别k-means以平滑多项式时间运行的参数配置。
• 证明k-means在一维实例中以平滑多项式时间运行。

提出的方法

• 在输入数据的高斯扰动下分析k-means算法，使用平滑化分析来建模现实中的输入分布。
• 推导出期望运行时间的上界，其在n√k和σ⁻¹方面为多项式，优于先前的上界。
• 引入第二个上界，其形式为kkd·poly(n, σ⁻¹)，其中多项式因子与k和d无关。
• 应用几何和概率论论证，以控制在扰动输入下收敛所需的迭代次数。
• 通过降维和k-means的结构特性，单独分析一维实例。
• 利用集中不等式和尾部概率界，以控制病态输入配置的可能性。

实验结果

研究问题

• RQ1 k-means的平滑运行时间能否被一个更贴近实际性能的多项式所界定？
• RQ2 哪些参数配置允许k-means实现平滑多项式时间复杂度？
• RQ3 k-means在一维数据中是否表现出平滑多项式时间行为？
• RQ4 维度d和聚类数k如何影响k-means的平滑运行时间？
• RQ5 能否推导出依赖于√k而非k的更紧上界，从而改进先前结果？

主要发现

• k-means的期望运行时间被界定为n√k和σ⁻¹的多项式，相比先前结果有显著改进。
• 建立了另一种上界kkd·poly(n, σ⁻¹)，其中多项式因子与k和d无关。
• 当k, d ∈ O(√log n / log log n)时，期望运行时间被界定为n和σ⁻¹的多项式，从而确立了平滑多项式时间。
• k-means算法在一维实例中以平滑多项式时间运行，解决了关键开放问题。
• 改进后的上界更贴近理论分析与实际观测性能的一致性，尤其在低维或中等k设置下。
• 结果表明，在输入数据的小随机扰动下，最坏情况的指数运行时间极不可能发生。