[论文解读] Fast Exact k-Means, k-Medians and Bregman Divergence Clustering in 1D

Allan Grønlund, Kasper Green Larsen+4 more|arXiv (Cornell University)|Jan 25, 2017

Automated Road and Building Extraction参考文献 23被引用 48

一句话总结

本文提出了一种基于动态规划与二分查找技术的快速精确算法，用于一维 k-均值聚类、k-中位数聚类以及 Bregman 散度聚类。该方法显著降低了空间使用量，可推广至任意 Bregman 散度，并实证表明，基于二分查找的算法在实践中优于动态规划，尤其在 n 和 k 较大时表现更优，同时支持对所有 k' ≤ k 的最优聚类结果进行高效报告。

ABSTRACT

The $k$-Means clustering problem on $n$ points is NP-Hard for any dimension $d\ge 2$, however, for the 1D case there exists exact polynomial time algorithms. Previous literature reported an $O(kn^2)$ time dynamic programming algorithm that uses $O(kn)$ space. It turns out that the problem has been considered under a different name more than twenty years ago. We present all the existing work that had been overlooked and compare the various solutions theoretically. Moreover, we show how to reduce the space usage for some of them, as well as generalize them to data structures that can quickly report an optimal $k$-Means clustering for any $k$. Finally we also generalize all the algorithms to work for the absolute distance and to work for any Bregman Divergence. We complement our theoretical contributions by experiments that compare the practical performance of the various algorithms.

研究动机与目标

• 开发更快且更节省空间的一维 k-均值聚类精确算法，以克服先前 O(kn²) 时间与 O(kn) 空间动态规划方法的局限性。
• 将现有的一维 k-均值算法推广至 k-中位数聚类及任意 Bregman 散度，从而扩大其在多样化聚类问题中的适用范围。
• 利用线性空间高效报告所有 k' ≤ k 的最优聚类结果，这一能力在标准动态规划中并未原生支持。
• 对多种一维聚类算法（包括动态规划与基于二分查找的方法）进行实证评估与比较。
• 识别并解决被忽视的前期工作，特别是 1980 年代的量化算法，该算法早于且包含后续已知的解决方案。

提出的方法

• 提出一种时间复杂度为 O(kn²)、空间复杂度为 O(kn) 的动态规划算法，后通过仅保存 DP 表的最后一列，优化为 O(kn) 时间与 O(k) 空间。
• 引入一种基于二分查找的算法，利用插值法寻找 k 个聚类的最优代价 λ，实现 O(n lg U) 时间与线性空间复杂度，其中 U 为数据范围大小。
• 利用代价函数的严格凹性特性，实现对 λ 的高效二分查找，从而快速计算任意 k 的最优聚类结果。
• 通过调整代价函数并保持相同的算法结构，将算法推广至 k-中位数聚类（使用绝对距离）与任意 Bregman 散度。
• 采用正则化的一维 k-均值问题形式，结合二分查找框架，实现对所有 k' ≤ k 的最优聚类结果的高效计算。
• 使用改进的 Wilber 风格插值查找法加速二分查找过程，尽管无理论最坏情况时间界，但实测性能表现优异。

实验结果

研究问题

• RQ1 能否将一维 k-均值聚类的最优空间复杂度从 O(kn) 降低至 O(k)，同时保持最优性能？
• RQ2 是否存在一种实际且高效的替代动态规划的一维 k-均值聚类方法，使其在 n 和 k 增大时具有更好的可扩展性？
• RQ3 能否将动态规划方法扩展以高效报告所有 k' ≤ k 的最优聚类结果？与基于二分查找的方法相比性能如何？
• RQ4 能否在保持相同时间与空间复杂度的前提下，将算法推广至 k-中位数聚类与 Bregman 散度？
• RQ5 基于二分查找的算法在实际中的性能表现如何？尤其在 n 和 k 较大时，其运行时间与内存使用量相较于动态规划有何优势？

主要发现

• 基于二分查找的算法实现 O(n lg U) 时间复杂度与线性空间复杂度，在实践中显著优于 O(kn²) 时间复杂度的动态规划方法，尤其在 n 和 k 较大时表现更优。
• 在均匀分布与高斯分布数据集上，当 k ≥ 20 时，即使 n 适中，基于二分查找的算法也远快于动态规划方法。
• 通过仅存储 DP 表的最后一列，可将动态规划算法的空间复杂度优化至 O(k)，从而实现对所有 k' ≤ k 的最优聚类结果的高效报告。
• 基于二分查找的算法可在搜索过程中同时报告多个 k 值的最优聚类代价，支持对代价曲线的交互式或增量式可视化。
• 基于插值的二分查找启发式方法的实际性能远优于其最坏情况 O(n²) 的理论界，表明其具有极强的实证效率。
• 本文识别并整合了 1980 年代关于一维加权量化问题的被忽视工作，表明该最优解早在数十年前即已被发现，并可涵盖后续提出的解决方案。