[论文解读] A balanced k-means algorithm for weighted point sets

Steffen Borgwardt, Andreas Brieden+1 more|arXiv (Cornell University)|Aug 19, 2013

Data Management and Algorithms参考文献 33被引用 4

一句话总结

本文提出了一种权重平衡的k-means算法，将经典k-means扩展至处理具有指定聚类大小上下限的加权点集。通过将分配阶段建模为在权重平衡划分多面体上的线性规划，并利用多面体理论，作者证明了最多在$(40ek^2n)^{(d+1)k-1}$次迭代内实现有限收敛，从而确保在固定$k$和$d$时的多项式时间终止。该方法支持部分隶属聚类，并可实现核化以处理非线性数据。

ABSTRACT

The classical $k$-means algorithm for partitioning $n$ points in $\mathbb{R}^d$ into $k$ clusters is one of the most popular and widely spread clustering methods. The need to respect prescribed lower bounds on the cluster sizes has been observed in many scientific and business applications. In this paper, we present and analyze a generalization of $k$-means that is capable of handling weighted point sets and prescribed lower and upper bounds on the cluster sizes. We call it weight-balanced $k$-means. The key difference to existing models lies in the ability to handle the combination of weighted point sets with prescribed bounds on the cluster sizes. This imposes the need to perform partial membership clustering, and leads to significant differences. For example, while finite termination of all $k$-means variants for unweighted point sets is a simple consequence of the existence of only finitely many partitions of a given set of points, the situation is more involved for weighted point sets, as there are infinitely many partial membership clusterings. Using polyhedral theory, we show that the number of iterations of weight-balanced $k$-means is bounded above by $n^{O(dk)}$, so in particular it is polynomial for fixed $k$ and $d$. This is similar to the known worst-case upper bound for classical $k$-means for unweighted point sets and unrestricted cluster sizes, despite the much more general framework. We conclude with the discussion of some additional favorable properties of our method.

研究动机与目标

• 解决现实应用中聚类大小必须受限的需求，特别是在数据挖掘、风险预测和农业土地整合等领域。
• 将经典k-means扩展至处理加权点集，其中点具有独立权重（例如重复或具有价值的数据点），需采用部分隶属聚类。
• 通过引入聚类大小的下限和上限，确保有限且有界的收敛性，防止出现空聚类并实现平衡划分。
• 构建一个框架，将幂图（power diagrams，即广义Voronoi图）推广至支持可行且受大小约束的聚类，利用线性规划实现。
• 即使在加权设置下存在不可数无穷多个部分隶属聚类，仍为该算法建立理论收敛保证。

提出的方法

• 将权重平衡的最小二乘分配建模为在权重平衡划分多面体上的线性规划，该多面体编码了满足大小约束的可行聚类。
• 通过以下约束定义可行区域：(1) 聚类权重边界$\kappa_i^- \leq \sum_j \omega_j y_{ij} \leq \kappa_i^+$，(2) 完全分配$\sum_i y_{ij} = 1$，(3) 非负性$y_{ij} \geq 0$。
• 采用基于顶点的优化：当解$y^*$为多面体的顶点时，通过固定整数分配（$y_{ij} \in \{0,1\}$）将可行区域限制为$Q(y^*)$，并重新求解简化后的线性规划。
• 利用多面体理论界定受限多面体$Q(y^*)$的顶点数量，其上限为$\binom{5k-2}{2(k-1)} \leq (5k)^{2k-2}$，这是由于最多有$2(k-1)$个分数变量。
• 利用强可行幂图的数量——其上限为$\left(\frac{8e(k-1)n}{d}\right)^{(d+1)k-1}$——来上界总的不同聚类分配数量。
• 通过将内积$x_j^T s_i$替换为核函数$\Phi(x_j, s_i)$，实现核化，从而在不改变算法结构的前提下支持非线性聚类。

实验结果

研究问题

• RQ1 如何将经典k-means算法推广以处理具有指定聚类大小上下限的加权点集？
• RQ2 当权重约束导致必须采用部分隶属聚类时，此类推广k-means算法的理论收敛行为如何？
• RQ3 尽管在加权设置下可能存在不可数无穷多个可能的部分隶属聚类，是否仍能保证有限终止？
• RQ4 收敛所需的最多迭代次数是多少？能否在$n$、$k$和$d$上实现多项式有界？
• RQ5 如何高效实现并利用核方法将该算法扩展至非线性数据？

主要发现

• 权重平衡k-means算法最多在$(40ek^2n)^{(d+1)k-1}$次迭代内实现有限收敛，对于固定的$k$和$d$，该值在$n$上为多项式时间。
• 不同强可行幂图的数量——对应于有效聚类配置——被上界为$\left(\frac{8e(k-1)n}{d}\right)^{(d+1)k-1}$，为唯一聚类分配数量提供了理论上的上界。
• 在固定整数分配后，受限可行区域$Q(y^*)$中的顶点数最多为$(5k)^{2k-2}$，确保算法执行过程中不会重复访问任一顶点。
• 该算法支持热启动：由于可行性区域在迭代间保持不变，前一最佳分配$y^*$仍为可行，可作为新迭代的起始点。
• 该方法天然支持核化——通过将标准内积替换为核函数$\Phi(x_j, s_i)$——而无需改变算法结构，从而实现非线性聚类。
• 该框架通过引入权重和大小约束，推广了经典k-means和Voronoi图，适用于数据挖掘、预测性维护和土地整合等应用。