[论文解读] Embed and Conquer: Scalable Embeddings for Kernel k-Means on MapReduce

Ahmed Elgohary, Ahmed Farahat+2 more|arXiv (Cornell University)|Nov 11, 2013

Advanced Clustering Algorithms Research参考文献 28被引用 6

一句话总结

本文提出了一种可扩展的MapReduce框架，用于基于一种新型低维嵌入方法——近似最近质心（APNC）嵌入）的核k均值聚类。通过将数据实例嵌入到保持核相似性的低维空间中，该方法实现了在分布式系统上的高效统一并行化，在ImageNet和RCV1等大规模数据集上，相较于精确核k均值及先前的近似方法，显著缩短了运行时间，同时保持了较高的聚类准确率。

ABSTRACT

The kernel $k$-means is an effective method for data clustering which extends the commonly-used $k$-means algorithm to work on a similarity matrix over complex data structures. The kernel $k$-means algorithm is however computationally very complex as it requires the complete data matrix to be calculated and stored. Further, the kernelized nature of the kernel $k$-means algorithm hinders the parallelization of its computations on modern infrastructures for distributed computing. In this paper, we are defining a family of kernel-based low-dimensional embeddings that allows for scaling kernel $k$-means on MapReduce via an efficient and unified parallelization strategy. Afterwards, we propose two methods for low-dimensional embedding that adhere to our definition of the embedding family. Exploiting the proposed parallelization strategy, we present two scalable MapReduce algorithms for kernel $k$-means. We demonstrate the effectiveness and efficiency of the proposed algorithms through an empirical evaluation on benchmark data sets.

研究动机与目标

• 解决由于完整核矩阵计算与存储导致的核k均值在大规模数据上的可扩展性限制。
• 通过MapReduce模型，在基于通用设备的分布式集群上实现核k均值的高效并行化。
• 设计一族低维嵌入方法，以保持核相似性，同时支持正确且高效的聚类近似。
• 开发两种实用的嵌入方法——基于Nyström近似的APNC-Nys和基于p-稳定分布的APNC-SD，以满足所需的嵌入特性。
• 在中等和大规模基准数据集上对所提算法进行实证验证，证明其在准确率和效率方面均表现优异。

提出的方法

• 提出一族嵌入方法APNC，其由四个关键属性定义，确保在MapReduce上进行核k均值计算时的正确性与可扩展性。
• 提出统一的并行化策略：首先为所有数据点计算嵌入，然后在嵌入空间中使用MapReduce执行聚类。
• 采用Nyström方法通过采样部分数据点来构建APNC-Nys嵌入，以近似完整核矩阵。
• 利用p-稳定分布构建APNC-SD嵌入，以近似核编码向量的ℓ1-范数，从而实现高效的距离计算。
• 设计基于ℓ1与ℓ2距离的差异函数，用于指导嵌入空间中的聚类分配，以最小化近似误差。
• 在MapReduce流水线中执行算法：Map阶段负责嵌入计算，Reduce阶段执行迭代聚类与最近质心分配。

实验结果

研究问题

• RQ1 是否可以定义一族低维嵌入，使其在分布式环境中保留核k均值近似所必需的性质？
• RQ2 如何通过利用此类嵌入，在MapReduce上高效并行化核k均值？
• RQ3 Nyström方法与p-稳定分布是否可用于构建满足所需性质并实现高准确率聚类的嵌入？
• RQ4 在大规模数据集上，所提出的APNC-Nys与APNC-SD方法在准确率与效率方面相较于现有核k均值近似方法表现如何？
• RQ5 所提出的基于MapReduce的算法在ImageNet与RCV1等数据集上，其可扩展性如何，同时能否保持具有竞争力的聚类质量？

主要发现

• 在ImageNet数据集上，APNC-SD在l=1500时达到最高的NMI（11.10%），优于先前最佳结果10.4%（使用Approx-KKM）
• 在RCV1数据集上，APNC-SD在l=1500时达到13.56% NMI，与使用谱聚类的最佳报告结果28.65%相当，但运行时间显著更短。
• 仅使用300个样本（l=300）时，APNC-Nys与APNC-SD的聚类准确率几乎与精确核k均值相同，证实了其可靠性。
• 在RCV1数据集上，APNC-SD将总聚类时间减少至15.6分钟（l=1500），远低于APNC-Nys的29分钟和分布式谱聚类基线的95分钟。
• APNC-Nys与APNC-SD的嵌入时间相近，但APNC-SD的聚类阶段更快，因其使用ℓ1-距离，计算效率更高。
• 在CovType数据集上，APNC-SD在l=1500时达到15.56% NMI，优于先前最佳结果14%（使用RFF），且在NMI上优于APNC-Nys，同时保持相近的运行时间。