[论文解读] Fast K-Means Clustering with Anderson Acceleration

Juyong Zhang, Yuxin Yao+3 more|arXiv (Cornell University)|May 27, 2018

Advanced Clustering Algorithms Research参考文献 24被引用 5

一句话总结

本文提出了一种新型加速方法，通过使用动态参数调整的Anderson加速技术，加速Lloyd的K-Means算法。通过将质心更新视为定点迭代问题，并采用自适应的m值选择，该方法平均将收敛迭代次数减少33%以上，在120个测试案例中优于106个，结合现有技术后实现了最先进性能。

ABSTRACT

We propose a novel method to accelerate Lloyd's algorithm for K-Means clustering. Unlike previous acceleration approaches that reduce computational cost per iterations or improve initialization, our approach is focused on reducing the number of iterations required for convergence. This is achieved by treating the assignment step and the update step of Lloyd's algorithm as a fixed-point iteration, and applying Anderson acceleration, a well-established technique for accelerating fixed-point solvers. Classical Anderson acceleration utilizes m previous iterates to find an accelerated iterate, and its performance on K-Means clustering can be sensitive to choice of m and the distribution of samples. We propose a new strategy to dynamically adjust the value of m, which achieves robust and consistent speedups across different problem instances. Our method complements existing acceleration techniques, and can be combined with them to achieve state-of-the-art performance. We perform extensive experiments to evaluate the performance of the proposed method, where it outperforms other algorithms in 106 out of 120 test cases, and the mean decrease ratio of computational time is more than 33%.

研究动机与目标

• 为解决Lloyd的K-Means算法收敛缓慢的问题，尽管每步计算效率高，但通常需要大量迭代。
• 在不改变每轮迭代的计算成本或初始化策略的前提下，提升收敛速度。
• 开发一种鲁棒的加速技术，确保在不同数据分布和问题实例中均保持高性能。
• 实现与现有可降低每轮迭代成本或改善初始化的加速方法的集成。

提出的方法

• 将Lloyd算法中质心更新的序列视为定点迭代问题。
• 应用Anderson加速——一种用于加速定点求解器的技术——利用最近的m次迭代结果计算加速后的迭代值。
• 采用Peng等人（2018）提出的改进Anderson加速方案，以降低计算开销并提高数值稳定性。
• 提出一种动态策略，根据迭代过程中目标函数值（能量）的下降程度调整记忆参数m。
• 利用动态m选择策略，提升在不同数据集、聚类数量和初始化条件下的鲁棒性与一致性。
• 将所提方法与现有加速技术（如距离边界剪枝、k-means++初始化）结合，实现累积性能提升。

实验结果

研究问题

• RQ1 能否通过将Lloyd的K-Means算法视为定点迭代问题，有效应用Anderson加速技术以实现加速？
• RQ2 在K-Means聚类中，经典Anderson加速的性能在多大程度上依赖于记忆参数m的选择？
• RQ3 针对m的动态调整策略是否能提升Anderson加速在多样化K-Means问题实例中的鲁棒性与一致性？
• RQ4 所提方法是否在不同数据维度、样本规模、聚类数量或初始化方式下均能实现一致的加速效果？
• RQ5 该方法能否与现有加速技术有效结合，实现最先进性能？

主要发现

• 在120个不同数据集的测试案例中，该方法在106个案例中优于其他算法，展现出广泛的适用性。
• 所有测试案例的平均计算时间减少超过33%，在大规模和高维数据集上观察到显著加速。
• 动态m选择策略显著提升了鲁棒性，确保在所有问题实例和初始化条件下均保持一致的加速效果。
• 在MNIST数据集（20个类别）上，时间从Lloyd的72.35秒减少至7.34秒（90%加速），迭代次数仅35次，远低于标准Lloyd的106次。
• 在100000×100数据集上，时间从3087.60秒减少至2541.44秒（提升17.4%），迭代次数减少至226次（对比标准Lloyd的308次），表明在大规模问题上的有效性。
• 在10000×10数据集上实现90%的加速（11.09秒 vs. 1.16秒），在1000×10数据集上实现95%的加速（1.03秒 vs. 0.05秒），凸显出强大的可扩展性。