[论文解读] A tight lower bound instance for k-means++ in constant dimension

Anup Bhattacharya, Ragesh Jaiswal+1 more|arXiv (Cornell University)|Jan 13, 2014

Data Management and Algorithms参考文献 13被引用 4

一句话总结

本文提出一个二维数据集，展示了 k-means++ 初始化算法的紧致下界，表明其在概率上呈指数级小的条件下可实现 $ O(\log k) $ 的近似比。该构造解决了低维情形下该算法性能的开放问题，证明即使在常数维度下，k-means++ 仍可能以高概率失败，尽管其期望具有 $ O(\log k) $ 的近似保证。

ABSTRACT

The k-means++ seeding algorithm is one of the most popular algorithms that is used for finding the initial $k$ centers when using the k-means heuristic. The algorithm is a simple sampling procedure and can be described as follows: Pick the first center randomly from the given points. For $i > 1$, pick a point to be the $i^{th}$ center with probability proportional to the square of the Euclidean distance of this point to the closest previously $(i-1)$ chosen centers. The k-means++ seeding algorithm is not only simple and fast but also gives an $O(\log{k})$ approximation in expectation as shown by Arthur and Vassilvitskii. There are datasets on which this seeding algorithm gives an approximation factor of $Ω(\log{k})$ in expectation. However, it is not clear from these results if the algorithm achieves good approximation factor with reasonably high probability (say $1/poly(k)$). Brunsch and Röglin gave a dataset where the k-means++ seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability that is exponentially small in $k$. However, this and all other known lower-bound examples are high dimensional. So, an open problem was to understand the behavior of the algorithm on low dimensional datasets. In this work, we give a simple two dimensional dataset on which the seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability exponentially small in $k$. This solves open problems posed by Mahajan et al. and by Brunsch and Röglin.

研究动机与目标

• 解决 k-means++ 在低维数据集中是否可能以高概率实现较差近似比的开放问题。
• 在常数维度下，特别是二维情形，提供 k-means++ 的紧致下界实例。
• 表明该算法的期望 $ O(\log k) $ 近似保证并不意味着在低维情形下以常数概率实现良好性能。
• 解决 Mahajan 等人以及 Brunsch 和 Röglin 长期提出的关于 k-means++ 在平面（二维）环境下行为的开放问题。

提出的方法

• 设计一个精心构造的二维数据集，包含聚类点和一个孤立点，以模拟最坏情况行为。
• 使用马尔可夫链模型分析 k-means++ 初始化过程，追踪选择远距离中心的概率。
• 利用霍夫丁不等式，界定算法在 $ k-1 $ 步内未能选择良好中心集的尾部概率。
• 建立达到良好配置所需步数的期望下界，表明其增长快于 $ k $ 的多项式函数。
• 利用概率集中不等式和渐近分析，表明成功概率随 $ k $ 指数级衰减。
• 证明该算法的近似比至多为 $ \delta \cdot \log k $ 的概率至多为 $ \exp(-(k-1)^{1-o(1)-120\delta}) $，该概率在 $ k $ 上呈指数级小。

实验结果

研究问题

• RQ1 尽管具有期望 $ O(\log k) $ 的保证，k-means++ 是否可能在低维数据集中以高概率实现较差的近似比？
• RQ2 是否存在一个二维数据集，使得 k-means++ 以在 $ k $ 上指数级小的概率失败，无法实现良好近似？
• RQ3 当期望近似比有界时，该算法在常数维度下的性能是否会显著下降？
• RQ4 能否在二维中构造出 k-means++ 的紧致下界实例，从而解决文献中的先前开放问题？
• RQ5 在低维空间中，中心数量与 k-means++ 成功概率之间的精确权衡是什么？

主要发现

• 本文构造了一个二维数据集，其中 k-means++ 实现 $ O(\log k) $ 近似比的概率至多为 $ \exp(-(k-1)^{1-o(1)-120\delta}) $，该概率在 $ k $ 上呈指数级小。
• 该结果解决了 Mahajan 等人和 Brunsch 与 Röglin 提出的开放问题，表明即使在常数维度下，k-means++ 仍可能以高概率失败。
• 失败概率不仅体现在期望上，更体现在成功概率指数级衰减，从而展现出一个强有力的下界。
• 分析表明，该算法的期望 $ O(\log k) $ 近似保证并不意味着在低维情形下具有高概率性能。
• 所构造的实例是紧致的，意味着 $ O(\log k) $ 近似因子在期望下已达到最优，且该下界与以 $ k $ 指数级小的概率失败相匹配。
• 该结果证明，该算法在低维空间中的性能本质上受限于高维中观察到的最坏情况行为，但如今在二维设置中得以明确体现。