[论文解读] Convergent message passing algorithms - a unifying view

Talya Meltzer, Amir Globerson+1 more|arXiv (Cornell University)|May 9, 2012

Error Correcting Code Techniques参考文献 15被引用 105

一句话总结

本文提出了一种统一框架——树一致性边界优化（Tree-Consistency Bound Optimization, TCBO），用于图形模型中收敛的消息传递算法。通过从抽象变分优化推导出一个可证明收敛的算法，作者表明许多现有的收敛算法都是TCBO的特例，并通过在已知算法中交换最大化与求和操作，推导出新的收敛变体，从而提供了一种系统化设计具有理论保证的收敛推理方法的途径。

ABSTRACT

Message-passing algorithms have emerged as powerful techniques for approximate inference in graphical models. When these algorithms converge, they can be shown to find local (or sometimes even global) optima of variational formulations to the inference problem. But many of the most popular algorithms are not guaranteed to converge. This has lead to recent interest in convergent message-passing algorithms. In this paper, we present a unified view of convergent message-passing algorithms. We present a simple derivation of an abstract algorithm, tree-consistency bound optimization (TCBO) that is provably convergent in both its sum and max product forms. We then show that many of the existing convergent algorithms are instances of our TCBO algorithm, and obtain novel convergent algorithms "for free" by exchanging maximizations and summations in existing algorithms. In particular, we show that Wainwright's non-convergent sum-product algorithm for tree based variational bounds, is actually convergent with the right update order for the case where trees are monotonic chains.

研究动机与目标

• 解决在图形模型中用于近似推理的流行消息传递算法缺乏收敛性保证的问题。
• 在单一理论框架下统一多种收敛的消息传递算法。
• 推导出一个可证明收敛的算法，该算法可推广现有方法，并支持系统化设计新的收敛变体。
• 阐明非收敛算法（例如Wainwright的和积算法）在何种条件下可通过适当的更新顺序实现收敛。

提出的方法

• 提出一种抽象算法——树一致性边界优化（TCBO），通过对偶分解方法优化变分边界。
• 推导出TCBO的和积形式与最大积形式，通过凸优化框架确保收敛性。
• 通过证明TCBO更新对应于对凸对偶函数的逐次最小化，建立收敛性。
• 证明现有收敛算法（如TRW-S、顺序树重加权算法）在特定参数选择下是TCBO的特例。
• 引入一种变换，通过在现有算法中交换最大化与求和操作，生成新的收敛变体。
• 证明当应用于单调链结构并采用适当的更新顺序时，Wainwright的非收敛和积算法可实现收敛。

实验结果

研究问题

• RQ1 能否通过单一框架统一图形模型中现有的收敛消息传递算法？
• RQ2 在变分推理的消息传递算法中，何种条件可确保收敛性？
• RQ3 能否通过结构或更新顺序的修改使非收敛算法实现收敛？
• RQ4 如何从已知算法系统化地推导出新的收敛消息传递算法？
• RQ5 是否存在一种通用的变分公式，可同时保证和积与最大积消息传递的收敛性？

主要发现

• 所提出的TCBO算法在和积与最大积形式下均可证明收敛，提供了一个统一且理论基础坚实的框架。
• 许多现有的收敛算法，包括TRW-S和顺序树重加权算法，均被证明是TCBO的特例。
• 在现有算法中交换最大化与求和操作，可产生新的收敛变体，从而实现系统化的算法设计。
• 此前已知缺乏收敛性保证的Wainwright和积算法，被证明在应用于单调链结构并采用适当更新顺序时可实现收敛。
• 该框架揭示了通过适当的对偶分解和凸优化，即使在非树状结构模型中，收敛性也可实现。