[论文解读] Generalizing k-means for an arbitrary distance matrix

Balázs Szalkai|arXiv (Cornell University)|Mar 24, 2013

Data Management and Algorithms参考文献 4被引用 3

一句话总结

本文将k-means聚类推广至适用于任意距离矩阵，即使数据点缺乏欧几里得表示时亦可适用。通过将质心距离表示为平方距离矩阵上的二次型，该方法使k-means无需向量输入即可运行，从而扩展了其在非欧几里得及抽象数据类型上的适用性。

ABSTRACT

The original k-means clustering method works only if the exact vectors representing the data points are known. Therefore calculating the distances from the centroids needs vector operations, since the average of abstract data points is undefined. Existing algorithms can be extended for those cases when the sole input is the distance matrix, and the exact representing vectors are unknown. This extension may be named relational k-means after a notation for a similar algorithm invented for fuzzy clustering. A method is then proposed for generalizing k-means for scenarios when the data points have absolutely no connection with a Euclidean space.

研究动机与目标

• 解决标准k-means的局限性，即要求数据点位于欧几里得空间中以进行质心计算。
• 在仅提供距离矩阵而无法访问底层向量表示时，实现k-means聚类。
• 通过重新定义基于二次型的质心距离，将k-means推广至适用于任意（可能非度量）距离矩阵。
• 确保推广后的方法在矩阵运算带来的复杂性增加下仍保持计算可行性。
• 研究推广方法产生有意义且非负距离的条件，以维持可解释性。

提出的方法

• 通过平方距离矩阵 $ A \in \mathbb{R}^{n \times n} $ 表示数据点，其中 $ A_{ij} = ||p_i - p_j||^2 $，即使 $ p_i $ 未显式给出。
• 将点 $ p_i $ 到其聚类质心 $ z_i $ 的平方距离表示为二次型：$ ||p_i - z_i||^2 = -\frac{1}{2} \lambda^T A \lambda $，其中 $ \lambda = \frac{1}{|S|}\chi(S) - e_i $ 且 $ \sum \lambda_j = 0 $。
• 利用 $ \sum \lambda_j = 0 $ 的性质推导出仅依赖于距离矩阵 $ A $ 而非原始向量的二次型表达式。
• 即使 $ A $ 并非源自欧几里得空间，也应用该推广距离公式，从而实现在抽象数据上的关系型k-means聚类。
• 通过矩阵校正技术（如 $ \beta $-spread 变换）确保二次型在零和超平面上为负半定，以避免负距离。
• 对距离矩阵进行最小程度的修改，使其在 $ \sum \lambda_j = 0 $ 的超平面上为负半定，同时尽可能保留原始距离。

实验结果

研究问题

• RQ1 k-means聚类能否仅基于距离矩阵运行，而无需数据点的向量表示？
• RQ2 当仅拥有平方距离矩阵时，如何计算数据点到其聚类质心的距离？
• RQ3 距离矩阵需满足何种条件，才能确保推广后的质心距离为非负且可解释？
• RQ4 能否对非欧几里得距离矩阵进行校正，以支持有效的k-means聚类，同时尽可能保留原始成对距离？
• RQ5 与标准k-means相比，推广后的k-means方法在真实世界非欧几里得数据上的性能和可解释性如何？

主要发现

• 本文通过在距离矩阵上使用二次型表达质心距离，成功将k-means推广至适用于任意距离矩阵。
• 该方法使k-means聚类适用于无底层欧几里得表示的数据，如蛋白质序列或其他抽象数据类型。
• 推广的距离公式 $ ||p_i - z_i||^2 = -\frac{1}{2} \lambda^T A \lambda $ 即使在 $ A $ 非源自欧几里得空间时也成立。
• 若二次型在零和超平面上非负半定，可能产生负距离，从而破坏度量解释。
• 可通过矩阵校正方法（如 $ \beta $-spread 变换）消除负距离，同时将原始距离矩阵的失真最小化。
• 由于需重复计算二次型，该方法计算成本高于标准k-means，但对启发式k-means算法而言仍具可行性。