[论文解读] Monte Carlo approximation certificates for k-means clustering

Dustin G. Mixon, Soledad Villar|arXiv (Cornell University)|Oct 3, 2017

Data Management and Algorithms参考文献 1被引用 3

一句话总结

本文提出了一种次线性蒙特卡洛算法，通过在小规模随机数据样本上求解半定规划（SDP）松弛问题，生成k-means聚类的近似最优性证明。该方法在数据来自ℝ^m中两个各向同性高斯分布的混合时，以99%的置信度提供最优k-means目标函数的高置信下界，实现3倍近似证明，且在大规模数据集上运行速度优于k-means++。

ABSTRACT

Efficient algorithms for $k$-means clustering frequently converge to suboptimal partitions, and given a partition, it is difficult to detect $k$-means optimality. In this paper, we develop an a posteriori certifier of approximate optimality for $k$-means clustering. The certifier is a sub-linear Monte Carlo algorithm based on Peng and Wei's semidefinite relaxation of $k$-means. In particular, solving the relaxation for small random samples of the dataset produces a high-confidence lower bound on the $k$-means objective, and being sub-linear, our algorithm is faster than $k$-means++ when the number of data points is large. We illustrate the performance of our algorithm with both numerical experiments and a performance guarantee: If the data points are drawn independently from any mixture of two Gaussians over $\mathbb{R}^m$ with identity covariance, then with probability $1-O(1/m)$, our $\operatorname{poly}(m)$-time algorithm produces a 3-approximation certificate with 99% confidence.

研究动机与目标

• 为解决k-means聚类中近似最优性验证的挑战，因为标准启发式方法常收敛到次优解。
• 开发一种快速、可扩展的方法，用于生成后验近似最优性证明，其计算成本低于完整k-means或SDP求解。
• 提供统计保证，即在特定概率数据模型下，k-means目标函数的下界接近最优。
• 在大规模数据集上，相比k-means++，在下界质量与计算效率两方面均表现更优。

提出的方法

• 该方法以Peng和Wei提出的k-means问题的半定松弛为基础，推导出最优k-means目标函数的下界。
• 通过在数据的小规模随机子集上求解SDP松弛问题，采用次线性蒙特卡洛方法来估计下界。
• 该算法构建一个非负随机变量，其期望值为真实k-means目标函数的下界，从而支持统计假设检验。
• 计算一个检验统计量T，即该随机变量ℓ个独立实现的最小值，用于拒绝原假设：真实期望值低于阈值B。
• 该方法利用集中不等式（马尔可夫不等式与卡方分布界）推导出下界值的高概率置信区间。
• 通过结合SDP解的谱范数与核范数界，推导出一个包含样本数据与随机矩阵项的可计算下界表达式。

实验结果

研究问题

• RQ1 次线性蒙特卡洛算法能否生成一个显著优于k-means++保证的、高置信度的k-means目标函数下界？
• RQ2 在何种数据假设下，对小样本进行的SDP松弛能产生接近最优的下界？
• RQ3 该方法能否在高维空间中对高斯混合模型实现99%置信度下的3倍近似证明？
• RQ4 当数据点数量较大时，该证明的计算成本与k-means++相比如何？

主要发现

• 对于来自ℝ^m中两个各向同性高斯分布混合的数据，该算法在多项式时间（poly(m)）内以99%置信度生成3倍近似证明。
• 该方法获得的下界显著优于k-means++的保证，尤其在高维设置下表现更优。
• 以高概率（1−O(1/m)）保证，该算法的下界至少为2B，而真实最优值至多为3B，从而可强有力地拒绝次优解。
• 该算法的运行时间相对于数据规模为次线性，因此在数据点数量较大时，运行速度优于k-means++。
• 性能保证依赖于随机矩阵的卡方分布与谱范数的集中不等式，确保在高斯假设下的鲁棒性。
• 对ℓ=7个独立样本使用并集界，确保p值<0.01，从而以高置信度验证了该证明的有效性。