[论文解读] Expectation particle Belief Propagation

Thibaut Lienart, Yee Whye Teh+1 more|arXiv (Cornell University)|Dec 7, 2015

Error Correcting Code Techniques参考文献 22被引用 3

一句话总结

该论文提出了一种用于连续状态成对马尔可夫随机场（MRF）的期望粒子信念传播（EPBP）算法，采用通过期望传播（EP）更新的自适应指数族提议分布，以改进基于粒子的信念传播。该方法在计算成本更低的同时，实现了比现有粒子BP方法更一致的边缘估计，且精度更高。

ABSTRACT

We propose an original particle-based implementation of the Loopy Belief Propagation (LPB) algorithm for pairwise Markov Random Fields (MRF) on a continuous state space. The algorithm constructs adaptively efficient proposal distributions approximating the local beliefs at each note of the MRF. This is achieved by considering proposal distributions in the exponential family whose parameters are updated iterately in an Expectation Propagation (EP) framework. The proposed particle scheme provides consistent estimation of the LBP marginals as the number of particles increases. We demonstrate that it provides more accurate results than the Particle Belief Propagation (PBP) algorithm of [1] at a fraction of the computational cost and is additionally more robust empirically. The computational complexity of our algorithm at each iteration is quadratic in the number of particles. We also propose an accelerated implementation with sub-quadratic computational complexity which still provides consistent estimates of the loopy BP marginal distributions and performs almost as well as the original procedure.

研究动机与目标

• 为解决现有基于粒子的信念传播（PBP）方法在连续状态马尔可夫随机场（MRF）中精度不足和计算成本过高的问题。
• 为环状信念传播（LBP）在连续域中开发一种更鲁棒、更高效的推理算法。
• 通过利用自适应提议分布，实现基于粒子近似的LBP边缘估计的一致性。
• 通过一种具有次二次复杂度的加速变体，在保持估计精度的同时降低计算复杂度。

提出的方法

• 该方法在成对MRF中使用基于粒子的局部信念近似，其中提议分布来自指数族。
• 在期望传播（EP）框架内，迭代更新提议分布的参数，以更好地匹配局部信念。
• 该算法构建自适应提议分布，从而在标准PBP基础上提升粒子效率和边缘估计精度。
• 随着粒子数量的增加，该算法确保LBP边缘估计的一致性，从而奠定理论有效性基础。
• 加速变体将计算复杂度从二次方降低至次二次方，同时保持一致性和性能。

实验结果

研究问题

• RQ1 通过使用自适应提议分布，能否使连续MRF中的基于粒子的信念传播在精度和效率方面得到提升？
• RQ2 将期望传播整合到基于粒子的信念传播中，如何改善估计的一致性和鲁棒性？
• RQ3 基于粒子的LBP中，计算复杂度与估计精度之间的权衡是什么？是否可以实现优化？
• RQ4 具有次二次复杂度的变体能否保持与原始二次复杂度版本相近的性能？

主要发现

• 所提出的EPBP算法在计算成本显著低于[1]中PBP方法的同时，实现了更高的精度。
• 随着粒子数量的增加，该算法能对环状BP边缘分布实现一致估计，确保理论可靠性。
• 该方法在复杂或高维连续状态空间中，比现有PBP方法更具经验鲁棒性。
• 具有次二次复杂度的加速变体在性能上几乎与原始二次复杂度版本相同，从而实现了可扩展性。