[论文解读] An implementation of the relational k-means algorithm

Balázs Szalkai|arXiv (Cornell University)|Apr 25, 2013

Advanced Clustering Algorithms Research参考文献 3被引用 6

一句话总结

本文提出了一种 C# 实现的关联式 k-means 算法，该算法将 k-means 扩展至适用于任意距离矩阵而非基于向量的数据。通过在平方距离矩阵上使用二次型重新表述质心距离，该方法实现了非欧几里得空间中的聚类，并在实际数据集（如蛋白质序列）上实现了不到一分钟的实用性能，运行于双核笔记本电脑上。

ABSTRACT

A C# implementation of a generalized k-means variant called relational k-means is described here. Relational k-means is a generalization of the well-known k-means clustering method which works for non-Euclidean scenarios as well. The input is an arbitrary distance matrix, as opposed to the traditional k-means method, where the clustered objects need to be identified with vectors.

研究动机与目标

• 在数据点无法表示为向量的非欧几里得空间中实现 k-means 聚类。
• 将经典 k-means 目标函数推广至适用于任意对称距离函数，且该函数无需满足三角不等式。
• 实现一种高效、可并行化的关联式 k-means 版本，能够处理实际数据集。
• 通过使用类似 Levenshtein 的距离函数，在大规模生物数据上展示该算法的可行性与性能。

提出的方法

• 该算法以平方距离矩阵 $ A_{ij} = f(p_i, p_j)^2 $ 作为输入，其中 $ f $ 为任意对称距离函数，且满足 $ f(p_i, p_i) = 0 $。
• 定义广义平方质心距离 $ q_{ij} = -\frac{1}{2} v_{ij}^\top A v_{ij} $，其中 $ v_{ij} = \frac{1}{|S_j|} \textstyle\bigsum_{k \notin S_j} e_k - e_i $，从而扩展经典欧几里得概念。
• 聚类值定义为 $ \textstyle\bigsum_{i=1}^n q_{i\tau(i)} $，其中 $ \tau(i) $ 表示点 $ p_i $ 的聚类分配，该算法旨在最小化此值。
• 每次迭代将每个点重新分配至使其 $ q_{ij} $ 最小的聚类，并在无改进时停止。
• 为确保在非欧几里得情况下的收敛性，应用 $ \beta $-扩展变换 $ A + \beta(J - I) $，使矩阵变为欧几里得矩阵。
• 通过预计算聚类相关和并在各点间复用，将每轮迭代的时间复杂度优化至 $ O(n^2) $。

实验结果

研究问题

• RQ1 k-means 能否在不依赖数据点向量表示的前提下，有效推广至任意距离矩阵？
• RQ2 如何将经典 k-means 目标函数重新表述为仅基于距离矩阵的形式，同时保留质心距离的几何直观？
• RQ3 为使关联式 k-means 在具有非欧几里得距离的实际数据集上具备实用性，需要哪些计算优化？
• RQ4 并行化能否显著提升关联式 k-means 在大规模数据上的运行时间性能？

主要发现

• 关联式 k-means 算法通过在距离矩阵上使用二次型计算广义质心距离，成功将 k-means 推广至非欧几里得空间。
• 通过利用预计算的聚类和优化 $ q_{ij} $ 计算，该算法在每轮迭代中实现 $ O(n^2) $ 时间复杂度。
• 在包含超过 1,000 个蛋白质、使用类似 Levenshtein 的距离函数的数据集上，该实现仅用时 30–60 秒即完成聚类，运行于双核笔记本电脑上。
• 以连续 20 次失败尝试（无改进）作为停止准则，该算法能可靠收敛至高质量聚类，且无进一步改进。
• 该实现高度可并行化，使用多线程时 CPU 利用率接近 100%，预计在 16 核机器上运行时间可缩短至 8 秒以内。
• C++ 版本的移植可能将执行时间减少约 50%，表明通过低层级优化仍可获得进一步性能提升。