[论文解读] Approximate Inference and Constrained Optimization

Tom Heskes, Kees Albers+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 11被引用 87

一句话总结

该论文通过一系列凸松弛的上界逼近，提出了一种新颖的算法框架，用于在图模型中进行近似推理，其核心是求解非凸Kikuchi自由能最小化问题。通过逐步收紧这些凸上界，该方法在保持收敛性保证的同时，相比CCCP实现了显著更快的收敛速度，在模拟实验中表现出巨大的加速效果。

ABSTRACT

Loopy and generalized belief propagation are popular algorithms for approximate inference in Markov random fields and Bayesian networks. Fixed points of these algorithms correspond to extrema of the Bethe and Kikuchi free energy. However, belief propagation does not always converge, which explains the need for approaches that explicitly minimize the Kikuchi/Bethe free energy, such as CCCP and UPS. Here we describe a class of algorithms that solves this typically nonconvex constrained minimization of the Kikuchi free energy through a sequence of convex constrained minimizations of upper bounds on the Kikuchi free energy. Intuitively one would expect tighter bounds to lead to faster algorithms, which is indeed convincingly demonstrated in our simulations. Several ideas are applied to obtain tight convex bounds that yield dramatic speed-ups over CCCP.

研究动机与目标

• 解决马尔可夫随机场和贝叶斯网络中信念传播的非收敛与收敛缓慢问题。
• 开发一种可靠的方法，用于最小化非凸Kikuchi自由能，该问题在近似推理中具有核心地位。
• 通过在Kikuchi自由能上使用更紧致的凸上界，改进现有方法如CCCP和UPS。
• 通过一系列逐步收紧的凸子问题，实现更快、更稳定的推理。

提出的方法

• 该方法将Kikuchi自由能最小化问题表述为一个约束优化问题。
• 引入了比CCCP中使用的更紧致的Kikuchi自由能凸上界。
• 该算法迭代地最小化这些凸上界，逐步收紧对真实自由能的逼近。
• 每次迭代均需求解一个凸优化子问题，从而确保局部收敛性和稳定性。
• 该方法利用Kikuchi近似的结构，设计出计算上可行且信息量丰富的上界。
• 该算法旨在通过最小化逐渐收紧的上界，收敛至广义信念传播的不动点。

实验结果

研究问题

• RQ1 是否可以利用一系列凸优化来有效最小化非凸Kikuchi自由能？
• RQ2 与CCCP相比，更紧致的凸上界如何影响收敛速度？
• RQ3 所提出的方法是否能在保持近似推理精度的同时实现更快的收敛？
• RQ4 上界紧致程度对推理算法的稳定性和性能有何影响？

主要发现

• 由于对Kikuchi自由能采用了更紧致的凸上界，所提方法相比CCCP实现了显著更快的收敛速度。
• 模拟结果表明，该方法在具有高阶因子的复杂图模型中，相比CCCP表现出巨大的加速效果。
• 该算法在标准信念传播无法收敛的情况下仍能保持一致收敛。
• 更紧致的凸上界可加速自由能的下降，验证了上界质量直接影响算法性能的直觉。