[论文解读] Wasserstein $K$-means for clustering probability distributions

Yubo Zhuang, Xiaohong Chen+1 more|arXiv (Cornell University)|Sep 14, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种基于距离的Wasserstein $K$-均值聚类方法，用于对概率分布进行聚类，采用$2$-Wasserstein度量，解决了由于Wasserstein空间中非负曲率导致的基于中心点方法失效的问题。研究表明，基于距离的公式化方法的半定规划（SDP）松弛在充分分离的高斯混合模型上可实现精确聚类恢复，并且在图像和分布数据上的表现优于标准$K$-均值方法。

ABSTRACT

Clustering is an important exploratory data analysis technique to group objects based on their similarity. The widely used $K$-means clustering method relies on some notion of distance to partition data into a fewer number of groups. In the Euclidean space, centroid-based and distance-based formulations of the $K$-means are equivalent. In modern machine learning applications, data often arise as probability distributions and a natural generalization to handle measure-valued data is to use the optimal transport metric. Due to non-negative Alexandrov curvature of the Wasserstein space, barycenters suffer from regularity and non-robustness issues. The peculiar behaviors of Wasserstein barycenters may make the centroid-based formulation fail to represent the within-cluster data points, while the more direct distance-based $K$-means approach and its semidefinite program (SDP) relaxation are capable of recovering the true cluster labels. In the special case of clustering Gaussian distributions, we show that the SDP relaxed Wasserstein $K$-means can achieve exact recovery given the clusters are well-separated under the $2$-Wasserstein metric. Our simulation and real data examples also demonstrate that distance-based $K$-means can achieve better classification performance over the standard centroid-based $K$-means for clustering probability distributions and images.

研究动机与目标

• 为解决由于Wasserstein空间中非负Alexandrov曲率导致的基于中心点$K$-均值方法的局限性。
• 提出一种基于距离的$K$-均值公式化方法，避免对中心点的依赖及其带来的规则性与非鲁棒性问题。
• 建立理论条件，说明基于距离的$K$-均值的SDP松弛在何种情况下可实现精确聚类恢复。
• 通过实证结果表明，基于距离的方法在分布数据和图像数据上的聚类性能优于基于中心点的$K$-均值方法。

提出的方法

• 在聚类目标中使用$2$-Wasserstein度量作为概率分布之间的距离度量。
• 提出一种基于距离的$K$-均值公式化方法，通过最小化组内成对$W_2$距离来避免对中心点的依赖。
• 对基于距离的$K$-均值问题应用半定规划（SDP）松弛，以提升计算可行性。
• 基于大偏差不等式和矩阵扰动界，构建理论分析框架以研究SDP松弛的性质。
• 将优化空间分解为与聚类对齐和正交的分量，以控制误差项。
• 应用Hoeffding型不等式和最大不等式，以控制距离估计中的偏差。

实验结果

研究问题

• RQ1 尽管中心点方法在Wasserstein空间中失效，基于距离的$K$-均值方法是否仍能优于基于中心点的$K$-均值方法？
• RQ2 基于距离的$K$-均值的SDP松弛在何种条件下可对高斯混合模型实现精确聚类恢复？
• RQ3 Wasserstein空间的非凸性与曲率如何影响聚类算法的鲁棒性与一致性？
• RQ4 基于距离的$K$-均值方法是否在真实世界数据（如图像和概率分布）上取得更优的分类性能？

主要发现

• 在$2$-Wasserstein度量下，SDP松弛的基于距离的$K$-均值方法可对充分分离的高斯混合模型实现精确聚类恢复。
• 在模拟数据和真实图像数据上，该方法在分类准确率方面优于标准的基于中心点的$K$-均值方法。
• 理论分析表明，基于距离的公式化方法对中心点估计中由曲率引起的不稳定性具有鲁棒性。
• 论文建立了距离估计偏差的高概率界，支持SDP松弛的一致性。
• 实证结果证实，与向量化图像上的欧氏$K$-均值相比，基于距离的方法能更好地捕捉图像数据中的几何结构。