[论文解读] Iterative Bregman Projections for Regularized Transportation Problems

Jean‐David Benamou, Guillaume Carlier+3 more|arXiv (Cornell University)|Dec 16, 2014

Risk and Portfolio Optimization参考文献 46被引用 3

一句话总结

本文提出了一种基于迭代Bregman投影的统一数值框架，通过引入熵正则化，高效求解正则化最优传输问题。通过将问题重新表述为在约束多面体上的Kullback-Leibler散度投影，该方法利用简单约束集的闭式投影，实现快速、可扩展的求解，计算成本低且精度高，适用于多种应用，包括barycenters、断层扫描和多边际传输。

ABSTRACT

This article details a general numerical framework to approximate so-lutions to linear programs related to optimal transport. The general idea is to introduce an entropic regularization of the initial linear program. This regularized problem corresponds to a Kullback-Leibler Bregman di-vergence projection of a vector (representing some initial joint distribu-tion) on the polytope of constraints. We show that for many problems related to optimal transport, the set of linear constraints can be split in an intersection of a few simple constraints, for which the projections can be computed in closed form. This allows us to make use of iterative Bregman projections (when there are only equality constraints) or more generally Bregman-Dykstra iterations (when inequality constraints are in-volved). We illustrate the usefulness of this approach to several variational problems related to optimal transport: barycenters for the optimal trans-port metric, tomographic reconstruction, multi-marginal optimal trans-port and in particular its application to Brenier's relaxed solutions of in-compressible Euler equations, partial un-balanced optimal transport and optimal transport with capacity constraints.

研究动机与目标

• 开发一种通用、高效的数值方法，用于求解最优传输及其变体中出现的线性规划问题。
• 通过引入平滑、正则化的公式，解决精确最优传输的计算瓶颈。
• 在单一算法框架下统一求解多种最优传输问题，如barycenters、部分传输和多边际传输。
• 实现在高维问题（如2D网格）上的可扩展计算，这些问题对标准线性规划而言是不可行的。
• 通过Dykstra和Bregman方法在复杂传输约束上展示迭代KL投影的有效性。

提出的方法

• 该方法引入熵正则化，将原始最优传输问题转化为严格凸、平滑的优化问题。
• 将正则化问题重述为初始联合分布在边际和容量约束所定义多面体上的Kullback-Leibler（KL）Bregman投影。
• 对于具有多个约束的问题，算法使用迭代Bregman或Dykstra投影，利用各个约束集的闭式解。
• 边际约束的投影通过缩放操作计算：对每个边际，通过目标质量与当前质量之比进行调整，上限为1。
• 总质量约束的投影是通过当前迭代值的总质量进行简单归一化。
• 算法在每个约束集上交替进行投影，直至收敛，利用熵正则化和KL散度的结构特性。

实验结果

研究问题

• RQ1 迭代Bregman投影能否为正则化最优传输问题提供高效且可扩展的解决方案？
• RQ2 如何利用熵正则化在最优传输的复杂约束集中实现闭式投影？
• RQ3 该框架能否统一求解多种最优传输变体，如barycenters、部分传输和多边际问题？
• RQ4 该方法在高维问题（如2D网格）上的计算和数值性能如何？
• RQ5 与精确线性规划相比，该方法在解中如何保持结构对称性（如自对偶性）？

主要发现

• 该方法以极低的计算成本实现高精度，能够在50×50和60×60的2D网格上求解，而这些规模对标准线性规划而言计算上不可行。
• 在1D和2D测试案例中，计算出的传输方案保持了预期的对称性（如自对偶性和旋转不变性），证实了解的正确性。
• 对于包含部分质量约束的多边际传输问题，该算法表现出可靠的收敛性，已在三边际问题（m=0.7×min(⟨pk,1⟩)）上得到验证。
• 正则化问题的解是e^{-C/ε}的对角缩放，可通过迭代比例拟合过程（IPFP）高效计算。
• 该框架能有效处理复杂约束，如容量限制和部分传输，且每个约束集的投影均可闭式计算。
• 该方法在可扩展性上优于精确线性规划，适用于机器学习、图像处理和计算经济学等应用。