[论文解读] Convex Clustering via Optimal Mass Transport

Francesca Carli, Lipeng Ning+1 more|arXiv (Cornell University)|Jul 20, 2013

Sparse and Compressive Sensing Techniques参考文献 14被引用 7

一句话总结

本文提出了一种基于最优质量传输的凸优化框架用于聚类，通过在稀疏支撑上施加基数惩罚来近似样本分布。该方法引入了一种范数之和松弛，提供了基数惩罚的最紧凸下界近似，从而实现鲁棒聚类且对初始化不敏感，在数值实验中优于基于$∞ll_∞$和$∞ll_1$的替代方法。

ABSTRACT

We consider approximating distributions within the framework of optimal mass transport and specialize to the problem of clustering data sets. Distances between distributions are measured in the Wasserstein metric. The main problem we consider is that of approximating sample distributions by ones with sparse support. This provides a new viewpoint to clustering. We propose different relaxations of a cardinality function which penalizes the size of the support set. We establish that a certain relaxation provides the tightest convex lower approximation to the cardinality penalty. We compare the performance of alternative relaxations on a numerical study on clustering.

研究动机与目标

• 为解决通过最优质量传输近似样本分布为稀疏支撑分布的聚类挑战。
• 克服在单纯形上$∞ll_1$正则化存在的局限性，即该范数始终为1，无法促进稀疏性。
• 开发基数惩罚的凸松弛，以有效促进聚类代表分布的稀疏性。
• 在合成聚类任务中比较不同松弛方法（范数之和、整数规划、$∞ll_\infty$-范数）的性能。
• 证明范数之和松弛提供了对原始基数惩罚的最紧凸下界近似。

提出的方法

• 将聚类表述为基于Wasserstein距离的优化问题，以最小化经验分布与稀疏支撑分布之间的距离。
• 通过最优传输计划矩阵表示基数惩罚，从而在传输计划上使用范数之和实现凸松弛。
• 在传输计划矩阵上引入范数之和惩罚，作为对基数函数的凸松弛，能紧致地逼近原函数。
• 提出一种使用辅助二值变量建模稀疏性的整数规划松弛作为替代方法。
• 为比较目的，采用先前工作中提出的$∞ll_\infty$-范数松弛，但其在促进稀疏性方面效果不佳。
• 使用标准数值方法求解所得的凸优化问题，聚类代表从解的支撑上导出。

实验结果

研究问题

• RQ1 在稀疏支撑上施加基数惩罚的最优质量传输能否为聚类提供一个合理的框架？
• RQ2 为何标准的$∞ll_1$正则化在单纯形上无法促进稀疏性，以及如何克服这一问题？
• RQ3 哪种基数惩罚的凸松弛能提供最紧的逼近并实现最佳聚类性能？
• RQ4 在恢复真实聚类结构方面，不同松弛方法（范数之和、整数规划、$∞ll_\infty$）的表现如何比较？
• RQ5 与k-means相比，该框架能否产生稳定且对初始化不敏感的聚类结果？

主要发现

• 如论文所证明，范数之和松弛提供了对基数惩罚的最紧凸下界近似。
• 在三类合成数据集上，范数之和与整数规划松弛在一系列$λ$值下均能正确恢复聚类，而基于$∞ll_\infty$的方法始终无法实现三类划分。
• 在十类合成数据集上，范数之和与整数规划松弛均成功恢复了真实的聚类结构，而基于$∞ll_\infty$的方法从未实现正确的十类划分。
• $∞ll_\infty$-范数松弛在促进稀疏性方面效果较差，即使在中间$λ$值下也无法有效隔离多个聚类。
• 所提出的框架由于其凸优化公式，能产生稳定且对初始化不敏感的聚类结果，而k-means则不然。
• 数值结果表明，范数之和松弛在聚类准确率和结构恢复方面始终优于其他松弛方法。