[论文解读] Fast K-Means with Accurate Bounds

James Newling, François Fleuret|arXiv (Cornell University)|Feb 8, 2016

Machine Learning and Data Classification参考文献 15被引用 16

一句话总结

本文提出 Exponion 算法，一种基于边界的新颖加速精确 k-means 方法，在低维数据集上优于现有最先进方法，实现最高达 3× 的加速。该研究进一步提出更紧致的距离边界与简化变体，减少冗余距离计算，在 59/62 次实验中提升效率，并为所有方法提供开源 C++ 实现。

ABSTRACT

We propose a novel accelerated exact k-means algorithm, which performs better than the current state-of-the-art low-dimensional algorithm in 18 of 22 experiments, running up to 3 times faster. We also propose a general improvement of existing state-of-the-art accelerated exact k-means algorithms through better estimates of the distance bounds used to reduce the number of distance calculations, and get a speedup in 36 of 44 experiments, up to 1.8 times faster. We have conducted experiments with our own implementations of existing methods to ensure homogeneous evaluation of performance, and we show that our implementations perform as well or better than existing available implementations. Finally, we propose simplified variants of standard approaches and show that they are faster than their fully-fledged counterparts in 59 of 62 experiments.

研究动机与目标

• 开发一种更快、更高效的精确 k-means 算法，用于大规模聚类任务。
• 通过收紧距离边界、减少不必要的距离计算，改进现有加速 k-means 方法。
• 在不牺牲性能的前提下简化复杂算法，从而在实际应用中实现更快执行。
• 提供统一的、开源的最先进 k-means 算法实现，以实现公平且可复现的基准测试。

提出的方法

• 提出 Exponion 算法，一种新型基于边界的 k-means 方法，通过使用样本与质心之间距离的更紧边界，避免冗余距离计算。
• 引入一种新颖的边界收紧技术，即 ns-bounds，提升距离估计的准确性，并在所有基于边界的算法中减少距离计算次数。
• 通过移除冗余检查，在保持正确性的前提下，将现有最先进算法（如 Annular、Syin、Selk、Elk）简化为更快的变体。
• 采用并行化的 C++11 实现所有算法，支持多核高效执行，在四核机器上实现接近四倍的加速。
• 在 22 个不同 k 值与维度的数据集上进行系统性实验评估，以实现公平的性能比较。
• 在分配过程中动态使用三角不等式与质心距离边界剪枝，加速收敛。

实验结果

研究问题

• RQ1 能否设计一种新型基于边界的 k-means 算法，在低维设置下显著超越当前最先进水平？
• RQ2 能否推导出更紧致的距离边界，以进一步减少 k-means 聚类中的距离计算次数？
• RQ3 能否通过简化复杂 k-means 算法的变体，实现优于其完整版本的性能？
• RQ4 所提方法在不同数据集、聚类数量与维度下的性能扩展特性如何？

主要发现

• Exponion 算法在 22 个低维数据集中的 18 个上，运行速度比当前最先进方法（Annular）快达 3×。
• 所提出的 ns-bound 技术减少距离计算并提升性能，在 44 次实验中的 36 次实现最高达 1.8× 的加速。
• 现有算法的简化变体在 62 次实验中的 59 次优于其完整版本，表明复杂性并不总与性能正相关。
• 并行实现版本在四核机器上实现接近四倍加速，证实了良好的可扩展性。
• 如表 7 所示，作者实现的代码在 100% 的基准配置中均优于现有开源库。
• ns-bound 技术在多数情况下实现加速，仅有少数情况出现轻微减速（q_t > 1），表明其在多样化数据集上具有鲁棒性。