[论文解读] Convexifying the Bethe Free Energy

Ofer Meshi, Ariel Jaimovich+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 21被引用 44

一句话总结

本文提出了一种贝斯自由能的凸化近似方法，以改善图模型中环状信念传播（LBP）的收敛性和最优性保证。通过使用凸优化技术重新表述贝斯自由能，该方法实现了可证明的收敛性，并表现出具有竞争力的性能，优于现有的凸自由能近似方法，同时保持了与标准LBP相近的强经验结果。

ABSTRACT

The introduction of loopy belief propagation (LBP) revitalized the application of graphical models in many domains. Many recent works present improvements on the basic LBP algorithm in an attempt to overcome convergence and local optima problems. Notable among these are convexified free energy approximations that lead to inference procedures with provable convergence and quality properties. However, empirically LBP still outperforms most of its convex variants in a variety of settings, as we also demonstrate here. Motivated by this fact we seek convexified free energies that directly approximate the Bethe free energy. We show that the proposed approximations compare favorably with state-of-the art convex free energy approximations.

研究动机与目标

• 解决图模型中环状信念传播（LBP）的收敛性和局部最优解问题。
• 开发一种直接近似贝斯自由能的凸自由能近似方法，同时保留其经验成功性。
• 在匹配或超越现有凸自由能方法性能的同时，实现可证明的收敛性和质量保证。
• 弥合LBP的经验成功性与凸优化在推理中的理论优势之间的差距。

提出的方法

• 通过引入熵项的凸松弛，将贝斯自由能公式化为一个凸优化问题。
• 采用对偶分解方法将图模型分解为局部项，从而实现高效优化。
• 使用一种凸代理来近似贝斯熵，同时保持与原始贝斯近似的连贯性。
• 利用拉格朗日松弛和对偶上升法求解所得的凸优化问题，确保收敛性。
• 该方法源自基库基近似框架，重点在于保持贝斯自由能的结构。
• 该算法设计为可扩展，并适用于具有环路的一般图模型。

实验结果

研究问题

• RQ1 能否构建一种凸自由能近似方法，使其能紧密近似贝斯自由能？
• RQ2 所提出的凸化方法是否在收敛性和最优性保证方面优于现有的凸自由能近似方法？
• RQ3 所得的推理过程能否匹配或超越标准环状信念传播的实证性能？
• RQ4 在准确性和收敛速度方面，凸化贝斯自由能与其它凸自由能近似方法相比如何？

主要发现

• 所提出的凸化贝斯自由能近似方法实现了可证明的收敛性，而标准环状信念传播则不能。
• 在基准图模型上的实验表明，该方法在推理质量方面优于最先进的凸自由能近似方法。
• 实证结果表明，该方法在各种设置下与标准环状信念传播的性能非常接近。
• 该凸松弛方法与原始贝斯近似保持了紧密联系，从而保留了其经验成功性。
• 该算法在包括高环密度在内的多种图模型结构中均能可靠收敛。