[论文解读] Center-based Clustering under Perturbation Stability

Pranjal Awasthi, Avrim Blum+1 more|arXiv (Cornell University)|Sep 18, 2010

Facility Location and Emergency Management参考文献 14被引用 3

一句话总结

本文提出了一种在扰动稳定性条件下最优中心聚类的多项式时间算法，表明在有限度量空间中，3-扰动鲁棒性，以及在一般度量空间中，2+√3-扰动鲁棒性，足以实现精确恢复。该方法结合了单链接层次聚类与动态规划，从生成的树形图中识别出最优的k-聚类，证明在温和的稳定性条件下，此类实例可实现高效的精确解。

ABSTRACT

Clustering under most popular objective functions is NP-hard, even to approximate well, and so unlikely to be efficiently solvable in the worst case. Recently, Bilu and Linial \cite{Bilu09} suggested an approach aimed at bypassing this computational barrier by using properties of instances one might hope to hold in practice. In particular, they argue that instances in practice should be stable to small perturbations in the metric space and give an efficient algorithm for clustering instances of the Max-Cut problem that are stable to perturbations of size $O(n^{1/2})$. In addition, they conjecture that instances stable to as little as O(1) perturbations should be solvable in polynomial time. In this paper we prove that this conjecture is true for any center-based clustering objective (such as $k$-median, $k$-means, and $k$-center). Specifically, we show we can efficiently find the optimal clustering assuming only stability to factor-3 perturbations of the underlying metric in spaces without Steiner points, and stability to factor $2+\sqrt{3}$ perturbations for general metrics. In particular, we show for such instances that the popular Single-Linkage algorithm combined with dynamic programming will find the optimal clustering. We also present NP-hardness results under a weaker but related condition.

研究动机与目标

• 通过引入一种现实的稳定性假设，解决在最坏情况下中心聚类的计算困难问题。
• 研究扰动鲁棒性——特别是对小的乘法度量扰动的稳定性——是否能够支持多项式时间的精确算法。
• 证明对于可分离的中心聚类目标（如k-中位数和k-均值），当扰动鲁棒性因子α ≥ 3（在有限度量空间中）或α ≥ 2+√3（在一般度量空间中）时，足以实现高效精确聚类。
• 通过证明在一般度量空间下，当α < 3时，k-中位数问题为NP-难，从而证明扰动阈值的紧致性。
• 表明标准的单链接聚类方法（提前停止）在稳定实例上会失败，因此需要完整的层次聚类与动态规划相结合。

提出的方法

• 将单链接聚类持续执行，直到所有点合并为一个簇，构建完整的树形图（层次聚类树）。
• 使用动态规划在树形图中寻找最优的k-聚类，通过递归组合左右子树的最优解。
• 将最优k-修剪定义为：左子树与右子树分别形成k′和k−k′个簇时，得分总和最小（或最大，针对k-中心问题）。
• 利用扰动鲁棒性特性，确保真实最优聚类在树形图中表现为一个有效修剪。
• 借助Balcan等人（2010）的结果，证明动态规划的输出确实是全局最优聚类。
• 分析稳定实例的几何结构，表明中心接近性意味着最优聚类在所有α-扰动下均被保留。

实验结果

研究问题

• RQ1 对于中心聚类目标（如k-中位数和k-均值），是否存在一个常数因子α < n1/2，使得α-扰动鲁棒性能支持多项式时间的精确聚类？
• RQ2 是否存在一个阈值α，使得α-扰动鲁棒性能保证中心聚类问题中存在高效算法实现最优聚类？
• RQ3 为何标准的单链接聚类（提前停止）在稳定实例上会失败？何种修改可确保正确性？
• RQ4 能否将有限度量空间中的扰动阈值降低至3以下，或将一般度量空间中的阈值降低至2+√3以下，同时仍支持高效精确聚类？
• RQ5 扰动鲁棒性与中心接近性之间存在何种关系？该边界的紧致性在NP-难性方面如何体现？

主要发现

• 对于任意可分离的中心聚类目标，在有限度量空间中，当α-扰动鲁棒性满足α ≥ 3时，可保证在多项式时间内找到最优聚类。
• 在一般度量空间中，当α-扰动鲁棒性满足α ≥ 2+√3时，足以实现多项式时间的精确聚类。
• 所提出的算法——即先执行单链接聚类，再在完整树形图上应用动态规划——在上述稳定性条件下能正确恢复最优的k-聚类。
• 本文证明，当α < 3时，在一般度量空间下，基于α-中心接近性的k-中位数问题是NP-难的，表明在有限度量空间中α = 3的阈值是紧致的。
• 标准的单链接聚类方法（在k个簇处停止）在稳定实例上会失败，原因在于错误的合并顺序，即使实例在因子3扰动下仍稳定。
• 分析表明，扰动鲁棒性意味着强中心接近性，而后者反过来确保最优聚类在所有α-扰动下均被保留。