[论文解读] Convergent Propagation Algorithms via Oriented Trees

Amir Globerson, Tommi Jaakkola|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用 34

一句话总结

本文提出了一种收敛的消息传递算法，通过利用有向树分解来求解图模型中的树重加权（TRW）变分推断问题。该算法在凸对偶空间中作为无约束广义几何规划运行，保证收敛至全局最优解，且通过有向重参数化实现的原始变量更新可保持底层分布的一致性。

ABSTRACT

Inference problems in graphical models are often approximated by casting them as constrained optimization problems. Message passing algorithms, such as belief propagation, have previously been suggested as methods for solving these optimization problems. However, there are few convergence guarantees for such algorithms, and the algorithms are therefore not guaranteed to solve the corresponding optimization problem. Here we present an oriented tree decomposition algorithm that is guaranteed to converge to the global optimum of the Tree-Reweighted (TRW) variational problem. Our algorithm performs local updates in the convex dual of the TRW problem - an unconstrained generalized geometric program. Primal updates, also local, correspond to oriented reparametrization operations that leave the distribution intact.

研究动机与目标

• 解决现有图模型推断消息传递算法缺乏收敛性保证的问题。
• 开发一种可证明收敛的算法，用于求解树重加权（TRW）变分问题。
• 通过在TRW问题的凸对偶空间中操作，确保近似推断的全局最优性。
• 通过原始空间中的局部有向重参数化操作，保持分布一致性。
• 通过树分解构建收敛传播算法的系统性框架。

提出的方法

• 该算法在TRW问题的凸对偶空间中运行，将其重新表述为无约束广义几何规划。
• 在对偶空间中执行局部更新，由于对偶问题的凸性，可保证收敛。
• 通过有向重参数化实现原始变量更新，可在保持原始分布的同时改善近似效果。
• 利用有向树分解来组织消息传递更新，确保收敛性。
• 通过利用原始与对偶公式之间的对偶性，保持一致性与最优性。
• 通过利用对偶问题的凸性及有向树的结构，避免陷入局部极小值。

实验结果

研究问题

• RQ1 能否设计一种消息传递算法，以保证在TRW变分推断中收敛至全局最优解？
• RQ2 如何利用TRW问题的对偶公式，实现在分布式、局部化方式下的收敛性？
• RQ3 树分解的何种结构特性能够支持图模型消息传递算法的收敛性？
• RQ4 局部重参数化操作能否在改善推断精度的同时保持底层分布？
• RQ5 能否构建一种收敛算法，在保持信念传播效率的同时确保全局最优性？

主要发现

• 所提出的算法保证收敛至TRW变分问题的全局最优解。
• 通过将凸对偶问题作为无约束广义几何规划求解，实现收敛。
• 通过有向重参数化实现的原始变量更新可保持原始分布，确保一致性。
• 利用有向树分解可实现结构化、局部化的更新，同时保持收敛性。
• 该方法为标准信念传播提供了一种可证明收敛的替代方案，后者缺乏此类保证。
• 该算法在收敛后无需进一步迭代优化即可实现全局最优性。