[论文解读] Biips: Software for Bayesian Inference with Interacting Particle Systems

Adrien Todeschini, François Caron+3 more|arXiv (Cornell University)|Dec 11, 2014

Gaussian Processes and Bayesian Inference参考文献 7被引用 16

一句话总结

Biips 是一个贝叶斯推断软件平台，支持使用交互粒子系统进行自动推断，原生支持 BUGS 概率编程语言。它提供黑箱序蒙特卡洛（SMC）算法（如粒子滤波和粒子 MCMC），用于后验近似和边缘似然估计，并提供与 R、MATLAB 和 Octave 的接口。

ABSTRACT

Biips is a software platform for automatic Bayesian inference with interacting particle systems. Biips allows users to define their statistical model in the probabilistic programming BUGS language, as well as to add custom functions or samplers within this language. Then it runs sequential Monte Carlo based algorithms (particle filters, particle independent Metropolis-Hastings, particle marginal Metropolis-Hastings) in a black-box manner so that to approximate the posterior distribution of interest as well as the marginal likelihood. The software is developed in C++ with interfaces with the softwares R, Matlab and Octave.

研究动机与目标

• 开发一个灵活、用户友好的基于交互粒子系统的贝叶斯推断软件平台。
• 通过引入序蒙特卡洛（SMC）推断能力，扩展 BUGS 语言生态系统，实现自动后验近似和边缘似然估计。
• 提供一个黑箱推断引擎，支持自定义分布和采样器，同时保持与现有概率编程工作流的兼容性。
• 提供与 R、MATLAB 和 Octave 的高效接口，以实现广泛的可访问性，并集成到现有数据分析流程中。
• 通过基于粒子的方法，支持具有不可解析条件分布或动态、高维状态空间的复杂模型。

提出的方法

• 使用声明式 BUGS 语言定义模型，允许用户通过条件分布定义图形模型。
• 软件在运行时将模型编译为图形结构，动态分配节点实例用于推断。
• 采用序蒙特卡洛（SMC）算法，包括前向 SMC、前后向 SMC、粒子独立马尔可夫链蒙特卡洛（PMH）和粒子边缘马尔可夫链蒙特卡洛（PM-MH），用于后验近似。
• SMC 方法在无需额外计算成本的情况下提供边缘似然的无偏估计，这是相对于 MCMC 的关键优势。
• 可在 R、MATLAB 或 Octave 中实现自定义函数和采样器，并集成到 BUGS 模型库中。
• 核心引擎使用 C++ 实现以提升性能，同时提供与 R、MATLAB 和 Octave 的高级接口以方便使用。

实验结果

研究问题

• RQ1 一个兼容 BUGS 的软件平台能否有效支持用于贝叶斯推断的序蒙特卡洛方法？
• RQ2 如何通过高级概率编程语言（如 BUGS）使基于粒子的推断更加易用？
• RQ3 SMC 方法能否被集成到一个黑箱框架中，支持自定义分布和采样器，而无需深入掌握算法细节？
• RQ4 Biips 中基于 SMC 的推断与传统基于 MCMC 的工具（如 JAGS）相比，性能权衡如何？
• RQ5 基于粒子的方法在多大程度上能够支持具有不可解析条件分布或复杂状态空间结构的模型？

主要发现

• Biips 成功实现了基于 BUGS 语言的黑箱 SMC 贝叶斯推断引擎，使用户无需编写低级算法即可定义模型。
• 该软件在无需额外计算成本的情况下提供边缘似然的无偏估计，这是相对于 MCMC 方法的显著优势。
• 在 R、MATLAB 或 Octave 中编写的自定义函数和采样器可无缝集成到模型中，显著提升灵活性和可扩展性。
• Biips 支持多种 SMC 算法，包括粒子边缘马尔可夫链蒙特卡洛，适用于状态空间模型和层次模型等复杂模型。
• 尽管运行时间高于成熟的 MCMC 工具（如 JAGS），Biips 仍为 SMC 表现优于 MCMC 的模型提供了可行替代方案，尤其在动态或高相关性场景中。
• Biips 未来版本计划利用并行计算提升性能，充分发挥粒子算法固有的并行特性。