[论文解读] Convergence rate of stochastic k-means

Cheng Tang, Claire Monteleoni|arXiv (Cornell University)|Nov 16, 2016

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文在一般条件下，通过一种新颖的k-means解空间几何分析，首次建立了在线和小批量k-means算法的全局收敛速率O(1/t)。此外，研究还表明，当数据具有可聚类性且初始化得当时，小批量k-means以高概率以O(1/t)的速率收敛到最优解。

ABSTRACT

We analyze online \cite{BottouBengio} and mini-batch \cite{Sculley} $k$-means variants. Both scale up the widely used $k$-means algorithm via stochastic approximation, and have become popular for large-scale clustering and unsupervised feature learning. We show, for the first time, that starting with any initial solution, they converge to a "local optimum" at rate $O(\frac{1}{t})$ (in terms of the $k$-means objective) under general conditions. In addition, we show if the dataset is clusterable, when initialized with a simple and scalable seeding algorithm, mini-batch $k$-means converges to an optimal $k$-means solution at rate $O(\frac{1}{t})$ with high probability. The $k$-means objective is non-convex and non-differentiable: we exploit ideas from recent work on stochastic gradient descent for non-convex problems \cite{ge:sgd_tensor, balsubramani13} by providing a novel characterization of the trajectory of $k$-means algorithm on its solution space, and circumvent the non-differentiability problem via geometric insights about $k$-means update.

研究动机与目标

• 严格刻画包括在线和小批量方法在内的随机k-means变体的收敛速率。
• 解释为何随机k-means收敛到不同的局部最优解，以及小批量大小如何影响最终解的质量。
• 在一般条件下，为任意初始解建立小批量k-means向局部最优解全局收敛的O(1/t)速率。
• 证明当采用可扩展的种子初始化方法时，若数据集具有可聚类性，小批量k-means以高概率以O(1/t)的速率收敛到最优k-means解。

提出的方法

• 提出一种框架，通过基于诱导聚类对质心空间进行等价类划分，来追踪解空间中的批量k-means。
• 使用当前聚类到所有局部最优解集合的距离作为类似李雅普诺夫函数，分析收敛性。
• 利用k-means更新的几何特性，规避目标函数的不可微性和非凸性。
• 应用随机逼近与非凸优化中的工具，特别是利用随机梯度下降的O(1/t)收敛结果。
• 采用概率浓度界限和尾部不等式，控制偏离期望收敛行为的概率。
• 提出一种新颖的分析方法，计算从最优聚类中采样点的概率，以确保持续向全局最优解推进。

实验结果

研究问题

• RQ1 在线和小批量k-means算法在k-means目标函数上的收敛速率是什么？
• RQ2 为何随机k-means变体收敛到不同的局部最优解，小批量大小如何影响最终解的质量？
• RQ3 在何种条件下小批量k-means能收敛到全局最优的k-means解？
• RQ4 尽管k-means目标函数具有非凸性和不可微性，其收敛速率能否被严格界定？

主要发现

• 在一般条件下，对于任意初始解，随机k-means以O(1/t)的速率全局收敛到局部最优解。
• 当数据集具有可聚类性且采用简单的种子初始化算法时，小批量k-means以高概率以O(1/t)的速率收敛到最优k-means解。
• 由于局部最优解的几何特性可防止其逃逸，即使算法接近局部最优解，收敛速率仍能保持。
• 通过更新动态的几何表征，该分析成功处理了k-means目标函数的不可微性和非凸性。
• 收敛到最优解的概率有下界1−δ，且其显式依赖于小批量大小和数据分布参数。
• 理论收敛速率O(1/t)通过一个框架得到验证，该框架通过解空间中到最近局部最优解的距离来追踪进展。