[论文解读] MAP Estimation, Linear Programming and Belief Propagation with Convex Free Energies

Yair Weiss, Chen Yanover+1 more|arXiv (Cornell University)|Jun 20, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用 12

一句话总结

本文提出了凸信念传播（Convex Belief Propagation, CBP），一种基于凸自由能近似的统一框架，用于图形模型中的MAP估计。证明了在无并列（no-tie）条件下，凸最大-乘积BP的不动点可给出精确的MAP解，并表明在低温下，凸和-乘积BP可求解MAP松弛的线性规划问题。该方法将可证明最优性扩展至更广泛的图类，超越单环图或树重加权模型。

ABSTRACT

Finding the most probable assignment (MAP) in a general graphical model is known to be NP hard but good approximations have been attained with max-product belief propagation (BP) and its variants. In particular, it is known that using BP on a single-cycle graph or tree reweighted BP on an arbitrary graph will give the MAP solution if the beliefs have no ties. In this paper we extend the setting under which BP can be used to provably extract the MAP. We define Convex BP as BP algorithms based on a convex free energy approximation and show that this class includes ordinary BP with single-cycle, tree reweighted BP and many other BP variants. We show that when there are no ties, fixed-points of convex max-product BP will provably give the MAP solution. We also show that convex sum-product BP at sufficiently small temperatures can be used to solve linear programs that arise from relaxing the MAP problem. Finally, we derive a novel condition that allows us to derive the MAP solution even if some of the convex BP beliefs have ties. In experiments, we show that our theorems allow us to find the MAP in many real-world instances of graphical models where exact inference using junction-tree is impossible.

研究动机与目标

• 将信念传播（BP）在MAP估计中的理论保证，从单环图和树重加权BP扩展至更广泛的模型类别。
• 基于凸自由能近似，将各种BP变体统一于同一框架之下。
• 建立凸最大-乘积BP可严格恢复MAP分配的条件，即使在存在部分信念并列的情况下亦成立。
• 建立低温下凸和-乘积BP与MAP问题线性规划松弛之间的联系。
• 在因树宽过高而使联结树方法失效的实际图形模型中，实现精确的MAP推理。

提出的方法

• 将凸BP定义为基于自由能泛函凸近似的信念传播算法。
• 证明单环图上的标准BP和树重加权BP均为凸BP的特例。
• 证明若凸最大-乘积BP中的信念无并列，则其不动点对应于MAP分配。
• 证明在足够低的温度下，凸和-乘积BP可求解MAP问题的线性规划松弛。
• 提出一种基于信念一致性和凸性的新条件，即使部分信念存在并列，亦可恢复MAP解。
• 利用自由能的凸性，确保优化过程的收敛性与稳定性。

实验结果

研究问题

• RQ1 信念传播是否可在更广泛的图形模型类别中保证找到MAP解，而不仅限于单环图和树重加权结构？
• RQ2 在何种条件下，凸最大-乘积BP可收敛至精确的MAP解？
• RQ3 低温下的凸和-乘积BP是否可用于求解MAP问题的线性规划松弛？
• RQ4 是否存在一种条件，使得即使部分信念存在并列，仍可恢复MAP解？
• RQ5 所提出的框架是否可在联结树推理因计算不可行而失效的实际模型中，实现精确的MAP推理？

主要发现

• 当所有信念均唯一（无并列）时，凸最大-乘积BP可严格恢复MAP解，将可证明最优性的适用范围扩展至单环图和树重加权BP之外。
• 该框架将单环图上的标准BP和树重加权BP作为特例包含在内，统一了它们的理论保证。
• 低温下的凸和-乘积BP可求解MAP问题的线性规划松弛，建立了BP与线性规划之间的联系。
• 提出的新一致性条件使得即使部分信念存在并列，亦可恢复MAP解，显著拓宽了方法的应用范围。
• 实验结果表明，该方法在真实世界图形模型中成功找到了MAP解，而这些模型因树宽过高导致联结树推理失效。
• 该理论框架使得此前被认为对精确方法不可行的模型实现了精确推理。