[论文解读] A Simulated Annealing based Inexact Oracle for Wasserstein Loss Minimization

Jianbo Ye, James Z. Wang+1 more|arXiv (Cornell University)|Aug 12, 2016

Adversarial Robustness in Machine Learning参考文献 20被引用 3

一句话总结

本文提出Gibbs-OT，一种基于模拟退火的近似oracle，利用Gibbs抽样在优化问题中高效近似Wasserstein损失的梯度。通过实现数值稳定性、热启动以及低每轮复杂度，Gibbs-OT加速了Wasserstein非负矩阵分解与Coulomb代价最优传输问题的求解，在速度和组分清晰度方面优于熵正则化方法，同时保持了鲁棒性。

ABSTRACT

Learning under a Wasserstein loss, a.k.a. Wasserstein loss minimization (WLM), is an emerging research topic for gaining insights from a large set of structured objects. Despite being conceptually simple, WLM problems are computationally challenging because they involve minimizing over functions of quantities (i.e. Wasserstein distances) that themselves require numerical algorithms to compute. In this paper, we introduce a stochastic approach based on simulated annealing for solving WLMs. Particularly, we have developed a Gibbs sampler to approximate effectively and efficiently the partial gradients of a sequence of Wasserstein losses. Our new approach has the advantages of numerical stability and readiness for warm starts. These characteristics are valuable for WLM problems that often require multiple levels of iterations in which the oracle for computing the value and gradient of a loss function is embedded. We applied the method to optimal transport with Coulomb cost and the Wasserstein non-negative matrix factorization problem, and made comparisons with the existing method of entropy regularization.

研究动机与目标

• 为解决Wasserstein损失最小化（WLM）中的计算瓶颈问题，其中精确最优传输（OT）求解的复杂度高达O(m³ log m)，代价过高。
• 开发一种快速、数值稳定的近似oracle，支持多层迭代WLM问题中的热启动与提前停止。
• 实现在WLM任务（如Wasserstein NMF与Coulomb代价最优传输）中的高效优化，这些任务需要重复求解OT问题。
• 提供熵正则化的一种替代方案，避免平滑伪影，提升分解中组分的清晰度。

提出的方法

• 使用时变的Gibbs抽样器作为随机oracle，近似Wasserstein损失的部分梯度。
• 应用模拟退火逐步降低温度，使系统收敛至能量较低的状态，类似于最优传输计划。
• 利用OT的对偶形式，将Metropolis-Hastings提议简化为Gibbs更新，提升效率。
• 将Gibbs-OT oracle集成到在线镜像下降（OMD）与加速镜像下降（AMD）中，联合优化基向量与隶属权重。
• 采用温度退火策略：T := T(1 − √(1/(m + m̄)))，实现传输计划的渐进式精细化。
• 通过复用先前的MCMC样本作为初始状态，支持热启动，从而减少连续OT问题间的混合时间。

实验结果

研究问题

• RQ1 像Gibbs抽样这样的马蒙特卡洛方法能否为Wasserstein损失最小化提供一种数值稳定且高效的近似oracle？
• RQ2 Gibbs-OT方法是否通过有效的热启动与提前停止实现WLM问题中的更快收敛？
• RQ3 在Wasserstein NMF中，Gibbs-OT与熵正则化相比，在解的质量与计算效率方面表现如何？
• RQ4 与平滑的熵正则化方法相比，Gibbs-OT能否在分解任务中保持更清晰的组分？

主要发现

• 在MNIST“5”图像上，Gibbs-OT的平均每轮时间仅为0.84秒，在ORL人脸图像上为16.8秒，相比商业LP求解器实现了两个数量级的速度提升。
• 使用Gibbs-OT学习到的组分比熵正则化W-NMF的组分更清晰，表明其对结构细节的保留更优。
• 人脸图像组分中观察到盐与胡椒噪声，这与Wasserstein距离对亚像素质量位移不敏感的特性一致。
• 与传统OT求解器相比，该方法在数值稳定性与鲁棒性方面表现更优，尤其在迭代式WLM设置中。
• Gibbs-OT实现了有效的热启动，通过复用先前的MCMC状态显著降低了多轮次优化中的每轮时间。