[论文解读] Multi-marginal optimal transport and probabilistic graphical models

Isabel Haasler, Rahul Singh+3 more|arXiv (Cornell University)|Jun 25, 2020

Bayesian Modeling and Causal Inference参考文献 56被引用 10

一句话总结

本文建立了带图结构代价的熵正则化多边际最优传输（MOT）与具有某些边际约束的贝叶斯推断在概率图模型（PGMs）之间的等价性。通过利用信念传播和范数-乘积算法等消息传递算法，作者推导出MOT问题的高效求解器，在树状结构图上实现全局收敛，并借助成熟的PGM推断技术实现可扩展计算。

ABSTRACT

We study multi-marginal optimal transport problems from a probabilistic graphical model perspective. We point out an elegant connection between the two when the underlying cost for optimal transport allows a graph structure. In particular, an entropy regularized multi-marginal optimal transport is equivalent to a Bayesian marginal inference problem for probabilistic graphical models with the additional requirement that some of the marginal distributions are specified. This relation on the one hand extends the optimal transport as well as the probabilistic graphical model theories, and on the other hand leads to fast algorithms for multi-marginal optimal transport by leveraging the well-developed algorithms in Bayesian inference. Several numerical examples are provided to highlight the results.

研究动机与目标

• 建立熵正则化多边际最优传输（MOT）与概率图模型（PGMs）中受限贝叶斯推断之间的理论等价性。
• 通过适配PGMs中成熟的消息传递技术（如信念传播和范数-乘积算法），开发MOT问题的高效数值算法。
• 为所提出的算法在底层图结构为树时提供全局收敛性保证。
• 通过利用代价函数中固有的稀疏性和局部结构，实现MOT问题的可扩展计算。

提出的方法

• 作者将熵正则化MOT问题重新表述为一个PGM中的受限推断问题，其中指定的边际对应于模型中的固定分布。
• 通过原始-对偶优化框架推导出对偶上升更新，得到信念传播和范数-乘积算法的闭式消息更新。
• 消息通过双重变量的指数变换进行更新，针对具有固定边际的节点（Γ）与自由边际的节点采用不同的更新规则。
• 将范数-乘积算法扩展至处理受限MOT设置，通过局部、迭代的消息传递实现高效计算。
• 对于树状结构图，该方法可保证全局收敛至MOT问题的最优解。
• 该方法利用代价函数的图结构特性，降低计算复杂度，从而为高维MOT问题提供可扩展的解决方案。

实验结果

研究问题

• RQ1 熵正则化多边际最优传输能否被解释为具有固定边际的概率图模型中的受限推断问题？
• RQ2 如何将PGMs中已有的消息传递算法适配于具有结构化代价函数的MOT问题求解？
• RQ3 当底层图结构为树时，所提出算法的收敛行为如何？
• RQ4 通过利用代价函数中的图结构特性，MOT的计算复杂度能在多大程度上被降低？
• RQ5 所推导的消息更新与已知算法（如Sinkhorn迭代或信念传播）有何关联？

主要发现

• 具有图结构代价的熵正则化MOT问题，在数学上等价于具有固定边际的PGM中的贝叶斯推断问题。
• 当底层图模型为树时，所提算法可实现全局收敛至MOT问题的最优解，将PGMs中的理论保证拓展至MOT领域。
• 对于具有固定边际的节点（j ∈ Γ），消息更新依赖于给定的边际分布μj(xj)；而对于自由节点，其更新依赖于先验φj(xj)。
• 范数-乘积算法成功扩展至MOT设置，为MOT提供了一种可扩展且高效的替代标准迭代缩放的方法。
• 数值实验表明该方法有效，无论在合成数据还是真实世界的MOT实例中均表现出快速收敛和高精度解。
• 所推导的消息更新与已知算法一致：当代价函数可分且边际为狄拉克分布时，该方法退化为标准最优传输。