[论文解读] Rk-means: Fast Clustering for Relational Data

Ryan R. Curtin, Ben Moseley+4 more|arXiv (Cornell University)|Oct 11, 2019

Data Mining Algorithms and Applications参考文献 34被引用 5

一句话总结

Rk-means 是一种新颖的算法，可在关系型数据库中实现快速、近似的 k-means 聚类，而无需物化完整的数据矩阵。它通过从边缘关系构建一个小的网格核心集，实现了对 k-means 目标函数的常数因子近似，同时相比需要昂贵特征提取查询的传统方法，实现了数量级的性能提升。

ABSTRACT

Conventional machine learning algorithms cannot be applied until a data matrix is available to process. When the data matrix needs to be obtained from a relational database via a feature extraction query, the computation cost can be prohibitive, as the data matrix may be (much) larger than the total input relation size. This paper introduces Rk-means, or relational k -means algorithm, for clustering relational data tuples without having to access the full data matrix. As such, we avoid having to run the expensive feature extraction query and storing its output. Our algorithm leverages the underlying structures in relational data. It involves construction of a small {\it grid coreset} of the data matrix for subsequent cluster construction. This gives a constant approximation for the k -means objective, while having asymptotic runtime improvements over standard approaches of first running the database query and then clustering. Empirical results show orders-of-magnitude speedup, and Rk-means can run faster on the database than even just computing the data matrix.

研究动机与目标

• 为解决从关系型数据库生成大型数据矩阵之前进行聚类所涉及的高计算和存储成本的特征提取查询（FEQs）问题。
• 实现在关系型数据上直接进行 k-means 聚类，而无需物化完整的数据矩阵，从而避免 FEQs 带来的性能瓶颈。
• 通过从边缘关系派生的紧凑核心集，提供对 k-means 目标函数的可证明良好近似。
• 在渐近和实际性能上实现相对于先计算后聚类完整数据矩阵的标准 k-means 流程的加速。

提出的方法

• Rk-means 通过使用轻量级 k-means 变体分别对每个独立的关系表（如产品、门店、交易）进行聚类，构建一个网格核心集。
• 它利用关系型数据的分解结构和功能聚合查询（FAQ）技术，高效计算关系交叉乘积上的加权 k-means，而无需物化完整的数据矩阵。
• 该算法在边缘关系上使用基于动态规划的聚类方法，构建一个小型、具有代表性的网格核心集，以总结联合分布。
• 该核心集用于在完整数据空间上计算加权 k-means 聚类，权重来自关系中元组组合的频率。
• 它应用一个将核心集与最优传输联系起来的理论框架，以确保对真实 k-means 目标函数的常数因子近似。
• 该方法通过调整核心集构建中使用的聚类数 ($\kappa$) 与最终 $k$ 个聚类之间的相对关系，支持在速度与近似质量之间进行可调的权衡。

实验结果

研究问题

• RQ1 是否可以在不物化完整数据矩阵的情况下对关系型数据进行 k-means 聚类，从而避免特征提取查询的计算成本？
• RQ2 从边缘关系表构建的核心集对 k-means 目标函数的理论近似保证是什么？
• RQ3 当数据矩阵较大时，Rk-means 在运行时间和内存使用方面与标准 k-means 流程相比表现如何？
• RQ4 核心集构建是否足够高效，以至于在实际中能快于计算完整数据矩阵所需的时间？
• RQ5 调整核心集大小 ($\kappa$) 对速度与聚类质量之间权衡的影响是什么？

主要发现

• 在 Retailer 数据集上，Rk-means 相较于 mlpack 最快实现 115 倍的加速，当 $\kappa < k$ 时，最快实现 208 倍加速，同时保持适中的近似误差。
• 在 Favorita 数据集上，Rk-means 在 $k=50$ 时仅用 334.65 秒完成聚类，而 mlpack 在六小时后仍超时，显示出显著的可扩展性提升。
• Rk-means 的内存占用大幅降低——在相同数据集上 $k=20$ 时，内存占用为 18 GiB，而 mlpack 超过 900 GiB，使原本无法在内存中运行的标准方法得以实现。
• 核心集大小最多比完整数据矩阵小 180 倍，从而实现在不牺牲聚类质量的前提下高效计算。
• Rk-means 的相对近似误差始终低于理论上的 9-近似界，某些配置下甚至低至 0.00。
• 在所有数据集中，Rk-means 的运行时间均快于仅使用 psql 计算数据矩阵的时间，表明核心集方法不仅更快，而且比基线 FEQ 步骤更高效。