[论文解读] A Constant-Factor Bi-Criteria Approximation Guarantee for $k$-means++

Dennis Wei|arXiv (Cornell University)|May 16, 2016

Advanced Clustering Algorithms Research参考文献 27被引用 12

一句话总结

该论文通过证明：对于任意常数 $\beta > 1$，选择 $\beta k$ 个中心时，$k$-means++ 算法及其推广形式 $D^{\text{\textbackslash}ell}$ 采样在期望上可获得与最优 $k$-聚类代价成常数倍关系的双准则近似保证。该结果优于先前的 $O(\log k)$ 保证，并提供了基于期望的保证，而此前的常数倍结果仅以常数概率成立。

ABSTRACT

This paper studies the $k$-means++ algorithm for clustering as well as the class of $D^\ell$ sampling algorithms to which $k$-means++ belongs. It is shown that for any constant factor $β> 1$, selecting $βk$ cluster centers by $D^\ell$ sampling yields a constant-factor approximation to the optimal clustering with $k$ centers, in expectation and without conditions on the dataset. This result extends the previously known $O(\log k)$ guarantee for the case $β= 1$ to the constant-factor bi-criteria regime. It also improves upon an existing constant-factor bi-criteria result that holds only with constant probability.

研究动机与目标

• 建立当选择超过 $k$ 个中心时，$k$-means++ 和 $D^{\ell}$ 采样在常数倍双准则近似保证下的理论依据。
• 改进先前在恰好选择 $k$ 个中心时，$D^{\ell}$ 采样所获得的 $O(\log k)$ 期望近似因子。
• 提供基于期望的保证，而非高概率边界，从而增强在不同数据集上的鲁棒性。
• 证明：对于任意 $\beta > 1$，选择 $\beta k$ 个中心可在期望上实现对最优 $k$-聚类代价的常数倍近似。
• 通过采用简单的 $D^{\ell}$ 采样并引入双准则权衡，为精确或复杂近似方案提供一种实用替代方案。

提出的方法

• 使用 $D^{\ell}$ 采样选择 $\beta k$ 个聚类中心，其中选择某一点的概率与其到最近已选中心的当前代价成正比。
• 引入势函数 $\phi$ 以追踪点到其最近所选中心距离的 $\ell$ 次幂之和。
• 采用递归分析框架，以界定在选择 $\beta k$ 个中心后，最终势函数的期望值 $\mathbb{E}[\phi^\prime]$。
• 推导出系数函数 $c_{\mathcal{V}}(t,u)$ 和 $c_{\mathcal{U}}(t,u)$，用以根据未覆盖聚类数和剩余中心数来界定期望势函数。
• 利用引理 3，在至少覆盖一个最优聚类的条件下，界定每次中心选择后的期望势函数。
• 将该界与 Arthur 和 Vassilvitskii（2007）的已知结果结合，推导出期望近似比的紧致上界。

实验结果

研究问题

• RQ1 当 $\beta > 1$ 时，$D^{\ell}$ 采样选择 $\beta k$ 个中心，是否可在期望上实现对最优 $k$-聚类代价的常数倍近似？
• RQ2 与标准 $k$-中心情形相比，当使用超过 $k$ 个中心时，$D^{\ell}$ 采样的近似因子如何改进？
• RQ3 是否可能在基于期望的保证下实现常数倍双准则近似，而非仅以高概率成立？
• RQ4 当选择 $\beta k$ 个中心时，$D^{\ell}$ 采样可实现的最紧致近似因子是多少？其与 $\ell$ 的关系如何？
• RQ5 分析是否可进一步优化，以考虑来自同一最优聚类的多个中心被选择的情形，从而改进上界？

主要发现

• 通过 $D^{\ell}$ 采样选择 $\beta k$ 个中心，可在期望上实现对最优 $k$-聚类代价的常数倍近似，对任意常数 $\beta > 1$ 均成立。
• 期望近似因子被界定为 $r_D^{(\ell)} \left(1 + \frac{\varphi(k-2)}{(\beta-1)k + \varphi}\right) - \frac{2C}{n}$，其中 $\varphi = \frac{1+\sqrt{5}}{2}$ 且 $C$ 为非负表达式。
• 该结果优于 $k$-means++ 在恰好选择 $k$ 个中心时的 $O(\log k)$ 期望近似因子。
• 该保证适用于所有数据集和所有维度，无需分布或几何假设。
• 分析表明，随着 $\beta$ 增大，近似因子减小，且该界优于此前仅以常数概率成立的常数倍结果。
• 该框架允许通过线性规划进行后处理，以恢复 $k$-中心解，同时保持常数倍近似性能。