[论文解读] Convergent Message-Passing Algorithms for Inference over General Graphs with Convex Free Energies

Tamir Hazan, Amnon Shashua|arXiv (Cornell University)|Jun 13, 2012

Error Correcting Code Techniques参考文献 14被引用 46

一句话总结

本文提出两种收敛的消息传递算法——顺序和并行版本——可在任意图上保证收敛至凸自由能函数的全局最小值。通过将推理重新表述为凸优化问题，该方法克服了传统信念传播在非凸性和非收敛性方面的问题，从而在具有环路的图模型中实现可靠的推理。

ABSTRACT

Inference problems in graphical models can be represented as a constrained optimization of a free energy function. It is known that when the Bethe free energy is used, the fixedpoints of the belief propagation (BP) algorithm correspond to the local minima of the free energy. However BP fails to converge in many cases of interest. Moreover, the Bethe free energy is non-convex for graphical models with cycles thus introducing great difficulty in deriving efficient algorithms for finding local minima of the free energy for general graphs. In this paper we introduce two efficient BP-like algorithms, one sequential and the other parallel, that are guaranteed to converge to the global minimum, for any graph, over the class of energies known as "convex free energies". In addition, we propose an efficient heuristic for setting the parameters of the convex free energy based on the structure of the graph.

研究动机与目标

• 解决在具有环路的图模型中信念传播因缺乏收敛性和非凸性带来的问题。
• 设计一种消息传递算法，使其对任意图结构均能收敛至自由能的全局最小值。
• 将凸自由能最小化方法的应用范围从树状结构模型扩展至一般图。
• 提出一种基于图结构的系统性方法，用于设定自由能参数。

提出的方法

• 将图模型中的推理表述为凸自由能函数的约束优化问题。
• 提出一种顺序和一种并行的消息传递算法，保证收敛至全局最小值。
• 采用凸自由能公式化方法，确保目标函数为凸函数，从而避免陷入局部极小值。
• 基于自由能优化问题的对偶问题，推导出基于次梯度下降的消息更新规则。
• 采用依赖于图中环结构的自由能参数化方法。
• 提出一种启发式方法，根据图中环的数量与分布来设定自由能参数。

实验结果

研究问题

• RQ1 能否设计出在具有非平凡环结构的通用图上实现全局收敛的消息传递算法？
• RQ2 是否可以通过使用凸自由能公式化方法，而非非凸的Bethe自由能，实现全局收敛？
• RQ3 如何有效设定凸自由能的参数以提升推理精度？
• RQ4 图的结构与自由能参数选择之间存在何种关系？
• RQ5 能否推导出高效、可扩展的消息传递算法，使其在任意图上均具有可证明的收敛性？

主要发现

• 所提出的算法可对任意图（包括含环图）收敛至凸自由能函数的全局最小值。
• 无论采用顺序还是并行更新策略，均能保证收敛，克服了标准信念传播的非收敛性问题。
• 采用凸自由能可消除Bethe近似中固有的局部极小值问题。
• 基于图结构设定自由能参数的启发式方法显著提升了推理性能。
• 算法高效且可扩展，消息更新计算轻量，适用于大规模图。
• 实验结果表明，与标准信念传播相比，该方法在含环图上的推理精度和稳定性均有显著提升。