[论文解读] Fast Discrete Distribution Clustering Using Wasserstein Barycenter with Sparse Support

Jianbo Ye, Panruo Wu+2 more|arXiv (Cornell University)|Sep 30, 2015

Anomaly Detection Techniques and Applications参考文献 55被引用 7

一句话总结

本文提出 AD2-clustering，一种基于具有稀疏支撑的 Wasserstein 平均中心的快速且可扩展的离散概率分布聚类方法。通过修改 Bregman ADMM 算法以高效计算近似平均中心，该方法在大规模数据上实现了高准确率和计算效率，相较于现有方法在聚类质量和速度方面表现更优，尤其在稀疏直方图和文本文档上优势显著。

ABSTRACT

In a variety of research areas, the weighted bag of vectors and the histogram are widely used descriptors for complex objects. Both can be expressed as discrete distributions. D2-clustering pursues the minimum total within-cluster variation for a set of discrete distributions subject to the Kantorovich-Wasserstein metric. D2-clustering has a severe scalability issue, the bottleneck being the computation of a centroid distribution, called Wasserstein barycenter, that minimizes its sum of squared distances to the cluster members. In this paper, we develop a modified Bregman ADMM approach for computing the approximate discrete Wasserstein barycenter of large clusters. In the case when the support points of the barycenters are unknown and have low cardinality, our method achieves high accuracy empirically at a much reduced computational cost. The strengths and weaknesses of our method and its alternatives are examined through experiments, and we recommend scenarios for their respective usage. Moreover, we develop both serial and parallelized versions of the algorithm. By experimenting with large-scale data, we demonstrate the computational efficiency of the new methods and investigate their convergence properties and numerical stability. The clustering results obtained on several datasets in different domains are highly competitive in comparison with some widely used methods in the corresponding areas.

研究动机与目标

• 为解决 D2-clustering 所面临的高计算成本问题，该方法依赖于昂贵的 Wasserstein 平均中心计算来确定聚类中心。
• 开发一种高效、可扩展的算法，用于在 Wasserstein 距离度量下对大规模离散分布进行聚类。
• 通过减少计算时间同时保持高聚类准确率，提升 D2-clustering 的实用性。
• 实现对稀疏、高维数据（如文本文档和图像直方图）的有效聚类。

提出的方法

• 该方法采用改进的 Bregman ADMM（B-ADMM）算法，用于计算离散分布簇的近似 Wasserstein 平均中心。
• 利用现实世界数据中支撑点的稀疏性，降低计算复杂度，聚焦于低基数的平均中心支撑。
• 该算法设计为鲁棒且无需参数调节，避免了对优化参数的手动调优。
• 实现了并行版本以适用于多核环境，在数百个 CPU 上实现了高效的可扩展性。
• 该方法整合了词嵌入和词袋表示，以增强文本聚类中的语义建模能力。
• 通过串行和并行执行对方法进行了评估，结果表明其具有良好的收敛性和数值稳定性。

实验结果

研究问题

• RQ1 如何有效降低 D2-clustering 中 Wasserstein 平均中心计算的计算瓶颈，以应对大规模数据？
• RQ2 与其它平均中心计算方法（如次梯度法、熵正则化、标准 ADMM）相比，改进的 B-ADMM 在速度、准确率和稳定性方面的相对表现如何？
• RQ3 将词嵌入与词袋表示相结合，能在多大程度上提升对短文本或稀疏文本文档的聚类性能？
• RQ4 在大规模聚类中，平均中心的支撑大小如何影响准确率与计算成本之间的权衡？
• RQ5 改进的 B-ADMM 方法能否在数百个 CPU 上高效并行化，同时保持收敛性和稳定性？

主要发现

• 在 BBC 新闻和 Wiki 事件数据集上，AD2-clustering 在 Adjusted Rand Index（ARI）和 Adjusted Mutual Information（AMI）上均达到最高值，优于 Tf-idf、LDA、NMF 和平均向量聚类等基线方法。
• 在 BBC 新闻摘要数据集上，AD2-clustering 的 AMI 达到 0.759，显著高于次佳方法（平均向量法为 0.753）；在 Wiki 事件数据集上，AMI 达到 0.545，远超 Tf-idf 的 0.448。
• 当使用训练好的词嵌入模型时，该方法表现出显著的性能提升；而随机嵌入则导致较差结果（AMI ≤ 0.369），凸显了语义建模的重要性。
• 该算法在 8 核机器上仅用几分钟便完成了大规模稀疏数据的聚类，展现出强大的计算效率。
• 当平均中心中的支撑点数 $ m $ 超过 64 后，性能不再提升，表明 $ m=64 $ 已足够实现最优权衡。
• 与其它方法相比，改进的 B-ADMM 方法展现出更优的收敛性和数值稳定性，且无需参数调优，便于部署。