[论文解读] A fast and recursive algorithm for clustering large datasets with $k$-medians

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Jan 21, 2011

Advanced Clustering Algorithms Research参考文献 19被引用 6

一句话总结

本文提出了一种快速、递归的随机梯度算法用于k-medians聚类，能够以O(kn)的时间复杂度顺序处理大规模、高维数据集。该算法利用Robbins-Monro随机逼近方法，几乎必然收敛到k-medians准则的驻点，具备自动步长选择机制，并通过平均化提升性能，在真实世界电视观众数据上，其速度和鲁棒性优于k-means、截尾k-means和PAM。

ABSTRACT

Clustering with fast algorithms large samples of high dimensional data is an important challenge in computational statistics. Borrowing ideas from MacQueen (1967) who introduced a sequential version of the $k$-means algorithm, a new class of recursive stochastic gradient algorithms designed for the $k$-medians loss criterion is proposed. By their recursive nature, these algorithms are very fast and are well adapted to deal with large samples of data that are allowed to arrive sequentially. It is proved that the stochastic gradient algorithm converges almost surely to the set of stationary points of the underlying loss criterion. A particular attention is paid to the averaged versions, which are known to have better performances, and a data-driven procedure that allows automatic selection of the value of the descent step is proposed. The performance of the averaged sequential estimator is compared on a simulation study, both in terms of computation speed and accuracy of the estimations, with more classical partitioning techniques such as $k$-means, trimmed $k$-means and PAM (partitioning around medoids). Finally, this new online clustering technique is illustrated on determining television audience profiles with a sample of more than 5000 individual television audiences measured every minute over a period of 24 hours.

研究动机与目标

• 为高效且稳健地聚类大规模、高维数据集提供解决方案。
• 开发一种顺序、递归的k-medians算法，避免存储全部数据，并使计算复杂度与样本量呈线性关系。
• 通过平均化的随机梯度估计器和数据驱动的步长选择，提升收敛性和性能。
• 提供一种对k-means的稳健替代方案，通过最小化L1-范数而非平方误差，降低对外点的敏感性。
• 在超过5,000名电视观众、持续24小时监测的真实数据集上，展示该方法的实际应用价值。

提出的方法

• 将MacQueen的顺序k-means思想扩展至k-medians，基于L1损失准则使用随机梯度下降。
• 采用递归更新规则：若$ Z_n $被分配至聚类$ r $，则$ X_{n+1}^{r} = X_n^r - a_n^r \frac{X_n^r - Z_n}{\|X_n^r - Z_n\|} $，其中$ a_n^r $为步长。
• 利用平均估计器提升收敛性与估计精度，降低递归更新中的方差。
• 提出一种基于经验L1损失的数据驱动方法，自动选择下降步长。
• 应用Robbins-Monro随机逼近框架，证明算法几乎必然收敛至k-medians目标函数的驻点。
• 实施两步流程：首先运行顺序k-means以估计初始步长，随后应用k-medians算法。

实验结果

研究问题

• RQ1 递归的、在线的k-medians聚类算法是否能在显著更快的速度下，实现与PAM或截尾k-means等批处理方法相当的准确性？
• RQ2 在计算速度和估计精度方面，平均化的顺序k-medians估计器相较于k-means、截尾k-means和PAM的表现如何？
• RQ3 基于数据驱动的自动步长选择机制是否能在无需人工调参的情况下，提升递归k-medians聚类的鲁棒性与收敛性？
• RQ4 在高维和大样本条件下，递归k-medians算法是否能保持稳定性和收敛性？
• RQ5 在真实世界数据中，k-medians方法相较于k-means在多大程度上降低了对外点的敏感性？

主要发现

• 所提出的递归k-medians算法具有O(kn)的时间复杂度，使其在大规模数据集上具备高度可扩展性。
• 在模拟研究中，该算法的平均版本在估计精度方面优于k-means、截尾k-means和PAM。
• 在较弱的正则性条件下，算法几乎必然收敛至k-medians损失准则的驻点集合。
• 基于经验L1损失的数据驱动步长选择机制可提升性能，且无需人工调参。
• 在包含超过5,000名个体、持续24小时监测的真实电视观众数据上，该算法成功实现实时识别出有意义的观众画像，证明其适用于在线聚类。
• 由于采用L1-范数，该方法对异常值更具鲁棒性，同时保持线性时间复杂度。