[论文解读] Relational Algorithms for k-Means Clustering

Benjamin Moseley, Kirk Pruhs+2 more|arXiv (Cornell University)|Aug 1, 2020

Data Management and Algorithms参考文献 29被引用 2

一句话总结

该论文提出了一种关系型k-means聚类算法，直接在归一化的关系型数据库上运行，无需物化完整的设计矩阵，针对无环数据库实现了时间复杂度为多项式时间的O(1)-近似解。该方法结合拒绝采样与k-means++初始化策略，在保持常数因子近似保证的前提下，高效采样聚类中心，避免了传统基于连接的处理方式导致的数据规模指数级膨胀。

ABSTRACT

This paper gives a k-means approximation algorithm that is efficient in the relational algorithms model. This is an algorithm that operates directly on a relational database without performing a join to convert it to a matrix whose rows represent the data points. The running time is potentially exponentially smaller than N, the number of data points to be clustered that the relational database represents. Few relational algorithms are known and this paper offers techniques for designing relational algorithms as well as characterizing their limitations. We show that given two data points as cluster centers, if we cluster points according to their closest centers, it is NP-Hard to approximate the number of points in the clusters on a general relational input. This is trivial for conventional data inputs and this result exemplifies that standard algorithmic techniques may not be directly applied when designing an efficient relational algorithm. This paper then introduces a new method that leverages rejection sampling and the k-means++ algorithm to construct a O(1)-approximate k-means solution.

研究动机与目标

• 为解决标准k-means在关系型数据库上效率低下的问题，避免因全表连接导致的数据规模指数级膨胀。
• 设计一种运行时间在输入表规模上为多项式时间的关系型算法，而非依赖于完整设计矩阵的规模。
• 直接在关系型数据上提供k-means聚类的常数因子近似解，无需转换为密集矩阵表示。
• 通过证明在一般关系型输入上近似聚类大小是NP难的，刻画关系型算法的局限性。
• 建立一个可证明具有近似保证的高效关系型算法设计框架。

提出的方法

• 利用拒绝采样从关系模式中高效采样候选聚类中心，而无需物化所有数据点。
• 采用一种针对关系型数据改进的k-means++初始化策略，确保聚类中心之间具有良好的分离性与覆盖性。
• 通过类似流的权重传播机制与权重函数∆′(p)，限制通过数据图中路径将点分配给中心的成本。
• 应用松弛的三角不等式界，将点分配给采样中心的成本与最优解相关联，确保常数因子近似。
• 采用分数分配方案ω(p, ci)在中心之间分配权重，使通过采样中心上的加权k-means实现成本分析成为可能。
• 基于数据点序列的路径收费论证，通过沿路径权重呈指数增长的方式，将总成本以最优解的形式进行有界控制。

实验结果

研究问题

• RQ1 是否可以在不物化完整的设计矩阵的前提下，高效解决关系型算法模型中的k-means聚类问题？
• RQ2 是否能够仅通过在原始表上进行多项式时间操作，就在关系型数据上实现k-means的常数因子近似？
• RQ3 在近似k-means的聚类大小或成本时，关系型算法的根本限制是什么？
• RQ4 如何将k-means++等采样技术适配至直接在规范化的关系型模式上运行？
• RQ5 能否利用拒绝采样与权重传播来限制关系型数据库中近似聚类的成本？

主要发现

• 所提出的算法在无环关系型数据库上实现了O(1)-近似解，时间复杂度为n·fhtw的线性级别，与关系型查询处理的最先进水平相当。
• 在一般关系型输入上，近似聚类中点的数量是NP难的，即使仅有两个中心，这凸显了关系型算法的根本局限性。
• 该算法通过拒绝采样与受k-means++启发的采样策略避免了完全物化，确保运行时间在输入规模上为多项式，而非设计矩阵规模。
• 最终聚类解的成本被有界为O(γ)φOPT，其中γ为在采样中心上加权k-means求解器的近似因子，φOPT为最优k-means成本。
• 分析表明，由于权重集中且路径权重有界，采样中心上加权k-means的成本以高概率处于最优成本的常数因子范围内。
• 最终的近似保证为O(γ)φOPT，其中γ为加权k-means求解器的近似因子，且在标准假设下，整体算法实现了常数因子近似。