[论文解读] A unified framework for hard and soft clustering with regularized optimal transport

Diebold, Jean-Frédéric, Nicolas Papadakis+2 more|arXiv (Cornell University)|Nov 12, 2017

Bayesian Methods and Mixture Models参考文献 1被引用 8

一句话总结

本文通过在指数族分布的有限高斯混合模型中引入正则化最优传输，提出了一种统一的硬聚类与软聚类框架，利用Bregman散度推广了k-means和期望最大化算法。结果表明，当采用熵正则化并调整参数时，这两种方法均可作为特例出现，为指数族模型中的聚类提供了连贯的理论基础。

ABSTRACT

In this paper, we formulate the problem of inferring a Finite Mixture Model from discrete data as an optimal transport problem with entropic regularization of parameter $\\lambda\\geq 0$. Our method unifies hard and soft clustering, the Expectation-Maximization (EM) algorithm being exactly recovered for $\\lambda=1$. The family of clustering algorithm we propose rely on the resolution of nonconvex problems using alternating minimization. We study the convergence property of our generalized $\\lambda-$EM algorithms and show that each step in the minimization process has a closed form solution when inferring finite mixture models of exponential families. Experiments highlight the benefits of taking a parameter $\\lambda>1$ to improve the inference performance and $\\lambda\ o 0$ for classification.

研究动机与目标

• 在基于正则化最优传输的统一优化框架下，统一硬聚类与软聚类方法。
• 将k-means和期望最大化算法作为有限高斯混合模型参数估计方案的特例进行推广。
• 在指数族分布中建立聚类与Bregman散度之间的理论联系。
• 提供一种灵活且具有凸正则化的优化方法，可将标准聚类算法作为特例恢复。

提出的方法

• 通过熵正则化将有限高斯混合模型中的参数估计表述为正则化最优传输问题。
• 应用Sinkhorn距离以在传输计划中实现平滑性与计算可行性。
• 推导出交替优化方案，迭代更新成员隶属度、混合权重和聚类参数。
• 利用Bregman散度将传输成本与指数族中的统计模型联系起来。
• 当正则化参数 λ → 0 时，重构k-means；当 λ → ∞ 时，重构EM算法。
• 利用自然参数与充分统计量之间的对偶性，推导出聚类原型的闭式更新公式。

实验结果

研究问题

• RQ1 如何在单一优化框架下正式统一硬聚类与软聚类方法？
• RQ2 熵正则化在k-means与EM算法之间插值过程中起到什么作用？
• RQ3 Bregman散度如何在指数族混合模型的最优传输背景下自然出现？
• RQ4 k-means与EM算法能否通过正则化作为更广泛聚类框架的特例推导得出？
• RQ5 正则化参数 λ 与最终聚类行为之间存在何种关系？

主要发现

• 当正则化参数 λ 趋近于零时，k-means算法对应于所提框架的极限情况。
• 对于指数族混合模型的期望最大化算法，其极限对应于 λ 趋近于无穷大的情况。
• 当 λ = 1 时，该框架恢复了标准的Bregman软聚类算法。
• 聚类原型作为数据点的加权均值进行更新，权重由传输计划导出。
• 该方法提供了一条凸正则化优化路径，确保在不同聚类模式下均具有收敛性与稳定性。
• 该框架通过在Bregman散度下嵌入最优传输公式，统一推广了k-means与EM算法。