[论文解读] Belief Propagation for Continuous State Spaces: Stochastic Message-Passing with Quantitative Guarantees

Nima Noorshams, Martin J. Wainwright|arXiv (Cornell University)|Dec 16, 2012

Error Correcting Code Techniques参考文献 33被引用 25

一句话总结

该论文提出了一种低复杂度的信念传播算法——随机正交级数消息传递（SOSMP），用于连续图模型。该算法结合了消息的正交级数近似与蒙特卡洛随机更新，可在树状图和满足收缩条件的环状图上实现几乎必然收敛至BP固定点的δ-邻域，且对达到所需精度δ的迭代次数和基系数数量提供了明确的上界。

ABSTRACT

The sum-product or belief propagation (BP) algorithm is a widely used message-passing technique for computing approximate marginals in graphical models. We introduce a new technique, called stochastic orthogonal series message-passing (SOSMP), for computing the BP fixed point in models with continuous random variables. It is based on a deterministic approximation of the messages via orthogonal series expansion, and a stochastic approximation via Monte Carlo estimates of the integral updates of the basis coefficients. We prove that the SOSMP iterates converge to a δ-neighborhood of the unique BP fixed point for any tree-structured graph, and for any graphs with cycles in which the BP updates satisfy a contractivity condition. In addition, we demonstrate how to choose the number of basis coefficients as a function of the desired approximation accuracy δand smoothness of the compatibility functions. We illustrate our theory with both simulated examples and in application to optical flow estimation.

研究动机与目标

• 为解决连续图模型中功能型消息带来的高计算与通信开销问题。
• 开发一种低复杂度、可扩展的消息传递算法，适用于大规模连续模型。
• 为树状结构和环状图提供收敛性与近似误差的严格理论保证。
• 量化近似精度δ、兼容函数平滑度与所需基系数数量之间的权衡关系。

提出的方法

• 在希尔伯特空间中使用正交级数展开近似信念传播消息，将功能型消息简化为有限维系数向量。
• 采用蒙特卡洛采样以随机方式估计基系数的积分更新，实现高效计算。
• 利用BP更新的收缩条件确保环状图中的收敛性，推广了树状图模型的结果。
• 通过正交投影将问题投影到有限维子空间，以控制近似误差。
• 利用Parseval恒等式与柯西-施瓦茨不等式，推导出消息近似期望平方L²误差的上界。
• 结合类似随机梯度的更新方式与理论收敛速率，确保收敛至固定点的δ-邻域。

实验结果

研究问题

• RQ1 能否在保持理论收敛保证的前提下，使连续图模型中的信念传播计算上可行？
• RQ2 基系数数量、近似精度δ与势函数平滑度之间存在何种关系？
• RQ3 所提出的随机消息传递方案是否在树状图上几乎必然收敛至BP固定点的δ-邻域？
• RQ4 SOSMP在含环的图中于何种条件下收敛？可保证的收敛速率是多少？
• RQ5 如何选择蒙特卡洛采样次数与基函数数量，以在最小计算成本下实现期望精度δ？

主要发现

• SOSMP算法对任意树状图结构，几乎必然收敛至唯一BP固定点的δ-邻域。
• 对于满足BP更新算子收缩条件的环状图，SOSMP同样几乎必然收敛至固定点的δ-邻域。
• 收敛速率与迭代次数呈反多项式关系，为实现δ-精度提供了明确的迭代次数上界。
• 所需基系数数量随兼容函数平滑度增加而增加，且与δ²成反比，从而实现可量化的复杂度-精度权衡。
• 利用Parseval恒等式与收缩性质，对消息近似误差的期望进行了上界估计，其显式依赖于正交投影的近似误差。
• 在合成数据与光流估计任务上的实证验证结果与理论预测一致，证明了方法的实际有效性。