[论文解读] Graphical model inference: Sequential Monte Carlo meets deterministic approximations

Fredrik Lindsten, Jouni Helske+1 more|arXiv (Cornell University)|Jan 8, 2019

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出了一种新颖的顺序蒙特卡洛（SMC）算法，将确定性推理方法——如遍历信念传播（loopy belief propagation）、期望传播（expectation propagation）和拉普拉斯近似（Laplace approximations）——整合到概率图模型的SMC中。通过利用这些方法构建高效的扭曲函数（twisting functions），该方法在保持SMC渐近一致性和无偏归一化常数估计的同时，纠正了其固有偏差，从而在性能上显著优于基线确定性方法和标准SMC。

ABSTRACT

Approximate inference in probabilistic graphical models (PGMs) can be grouped into deterministic methods and Monte-Carlo-based methods. The former can often provide accurate and rapid inferences, but are typically associated with biases that are hard to quantify. The latter enjoy asymptotic consistency, but can suffer from high computational costs. In this paper we present a way of bridging the gap between deterministic and stochastic inference. Specifically, we suggest an efficient sequential Monte Carlo (SMC) algorithm for PGMs which can leverage the output from deterministic inference methods. While generally applicable, we show explicitly how this can be done with loopy belief propagation, expectation propagation, and Laplace approximations. The resulting algorithm can be viewed as a post-correction of the biases associated with these methods and, indeed, numerical results show clear improvements over the baseline deterministic methods as well as over "plain" SMC.

研究动机与目标

• 弥合概率图模型中确定性推理与蒙特卡洛推理之间的差距。
• 通过利用确定性近似作为扭曲函数，提升SMC推理的效率与精度。
• 在不牺牲渐近一致性的前提下，实现对确定性方法偏差的后验校正。
• 提供一个适用于连续型、非高斯型及复杂图模型的通用框架。
• 支持与高级推理流水线（如伪边缘MCMC或粒子MCMC）的集成。

提出的方法

• 该方法通过SMC的图序列分解引入一系列人工目标分布。
• 在SMC目标中使用扭曲函数，以引入对后续变量的依赖，从而提升提议分布的质量。
• 扭曲函数由确定性推理方法的输出构建——包括拉普拉斯近似、期望传播和遍历信念传播。
• 扭曲函数为次优但高效，避免了对精确推理的需求。
• 尽管使用了近似扭曲函数，SMC算法仍保持无偏归一化常数估计和渐近一致性。
• 该框架允许复用现有的确定性推理工具作为构建更精确SMC推理的组件。

实验结果

研究问题

• RQ1 能否有效重用确定性推理方法以提升图模型中SMC的效率？
• RQ2 如何在不依赖精确推理的前提下，高效构建扭曲函数？
• RQ3 将确定性近似与SMC结合，是否能带来优于单一方法的精度与收敛性？
• RQ4 在使用近似扭曲函数的SMC中，确定性方法的偏差能在多大程度上被校正？
• RQ5 所得到的算法能否作为其他推理方案（如伪边缘MCMC）的即插即用后处理校正工具？

主要发现

• 基于确定性方法的扭曲函数的SMC算法，在准确性和收敛速度方面显著优于标准SMC和基线确定性方法。
• 数值结果表明，该方法在性能上明显优于单独使用遍历信念传播、期望传播和拉普拉斯近似。
• 该方法保持了无偏归一化常数估计，确保了理论可靠性，即使使用了近似扭曲函数。
• 由确定性方法导出的扭曲函数显著减少了SMC中的有效样本量损失，提升了采样效率。
• 该框架具有鲁棒性和可扩展性，支持与现有推理工具及先进MCMC方案的集成。