[论文解读] Fast clustering of large datasets with sequential $k$-medians : a stochastic gradient approach

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 21, 2011

Bayesian Methods and Mixture Models参考文献 17被引用 5

一句话总结

本文提出了一种快速、顺序的随机梯度算法用于 $k$-medians 聚类，通过增量更新聚类中位数，实现实时处理大规模、高维数据集。该算法证明了几乎必然收敛至驻点，并引入了一种用于平均估计器的自动步长选择方法，在一个包含 5,000 多名用户的电视观看数据集上，其速度和精度均优于传统方法。

ABSTRACT

Clustering with fast algorithms large samples of high dimensional data is an important challenge in computational statistics. Borrowing ideas from MacQueen (1967) who introduced a sequential version of the $k$-means algorithm, a new class of recursive stochastic gradient algorithms designed for the $k$-medians loss criterion is proposed. By their recursive nature, these algorithms are very fast and are well adapted to deal with large samples of data that are allowed to arrive sequentially. It is proved that the stochastic gradient algorithm converges almost surely to the set of stationary points of the underlying loss criterion. A particular attention is paid to the averaged versions, which are known to have better performances, and a data-driven procedure that allows automatic selection of the value of the descent step is proposed. The performance of the averaged sequential estimator is compared on a simulation study, both in terms of computation speed and accuracy of the estimations, with more classical partitioning techniques such as $k$-means, trimmed $k$-means and PAM (partitioning around medoids). Finally, this new online clustering technique is illustrated on determining television audience profiles with a sample of more than 5000 individual television audiences measured every minute over a period of 24 hours.

研究动机与目标

• 解决大规模、高维数据在实时顺序到达场景下的聚类挑战。
• 为大数据应用开发一种计算高效的批量 $k$-medians 和 $k$-means 算法的替代方案。
• 确保所提算法在 $k$-medians 损失函数驻点处实现理论收敛。
• 通过基于数据的步长选择，利用平均随机梯度估计器提升估计精度。
• 在真实世界的大规模电视观众画像任务中展示实际性能。

提出的方法

• 将 MacQueen 的顺序 $k$-means 思想扩展至 $k$-medians 准则，采用递归随机梯度更新。
• 采用随机梯度下降框架，每个新数据点使用递减步长更新当前的类别中心估计值。
• 提出算法的平均版本，以提升收敛稳定性和估计精度。
• 提出一种基于观测梯度行为的数据驱动方法，用于选择最优下降步长。
• 使用 $k$-medians 损失函数，最小化各聚类中位数的绝对偏差之和。
• 以在线方式应用算法，逐个处理数据点，无需存储完整数据集。

实验结果

研究问题

• RQ1 顺序随机梯度算法能否在大规模、高维数据集上实现快速且准确的 $k$-medians 聚类？
• RQ2 随机梯度 $k$-medians 估计器的平均版本是否能几乎必然收敛至损失函数的驻点？
• RQ3 基于数据的步长选择方法在实践中能否优于固定或启发式步长规则？
• RQ4 与经典聚类技术（如 $k$-means、截断 $k$-means 和 PAM）相比，所提方法在速度和精度上表现如何？
• RQ5 该算法能否有效从高频、大规模数据中识别出有意义的电视观众画像？

主要发现

• 顺序随机梯度 $k$-medians 算法几乎必然收敛至 $k$-medians 损失函数的驻点集合。
• 算法的平均版本在估计性能上显著优于非平均变体。
• 所提出的基于数据的步长选择方法在实践中有效平衡了收敛速度与精度。
• 在大规模数据集上，该方法的计算时间显著快于批量 $k$-means、截断 $k$-means 和 PAM。
• 在 24 小时、5,000 多名用户的电视观看数据集上，该算法成功识别出具有高效率的差异化观众观看模式。
• 该算法在流式数据下仍保持高精度，适用于实时聚类应用。