[论文解读] Bayesian State-Space Modelling on High-Performance Hardware Using LibBi

Lawrence M. Murray|arXiv (Cornell University)|Jun 14, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 11被引用 41

一句话总结

该论文提出 LibBi，一个高性能软件框架，用于贝叶斯状态空间建模，通过领域特定语言利用现代并行硬件（CPU、GPU 和集群）实现。它支持使用顺序蒙特卡洛方法（如粒子滤波、PMCMC 和 SMC²）进行高效推断，并通过两个案例研究在多种架构上展示了显著的性能提升：一个线性的三元件 Windkessel 模型和一个非线性的 Lorenz '96 模型。

ABSTRACT

LibBi is a software package for state-space modelling and Bayesian inference on modern computer hardware, including multi-core central processing units (CPUs), many-core graphics processing units (GPUs) and distributed-memory clusters of such devices. The software parses a domain-specific language for model specification, then optimises, generates, compiles and runs code for the given model, inference method and hardware platform. In presenting the software, this work serves as an introduction to state-space models and the specialised methods developed for Bayesian inference with them. The focus is on sequential Monte Carlo (SMC) methods such as the particle filter for state estimation, and the particle Markov chain Monte Carlo (PMCMC) and SMC^2 methods for parameter estimation. All are well-suited to current computer hardware. Two examples are given and developed throughout, one a linear three-element windkessel model of the human arterial system, the other a nonlinear Lorenz '96 model. These are specified in the prescribed modelling language, and LibBi demonstrated by performing inference with them. Empirical results are presented, including a performance comparison of the software with different hardware configurations.

研究动机与目标

• 为复杂动力系统中不确定性下的可扩展贝叶斯推断日益增长的需求提供解决方案。
• 开发一个软件栈，高效利用多核 CPU、GPU 和分布式集群等现代并行硬件架构。
• 提供一个领域特定语言，用于指定状态空间模型，并自动化高性能推断的代码生成。
• 展示基于 SMC 的方法（如粒子滤波、PMCMC 和 SMC²）在非线性、非高斯和高维状态空间模型中的有效性。
• 通过真实生理系统和混沌动力学模型，评估 LibBi 在不同硬件平台上的性能表现。

提出的方法

• LibBi 使用领域特定语言指定状态空间模型，包括参数、状态、观测值和随机组件。
• 系统解析模型规范，并通过 SIMD（SSE）、OpenMP（共享内存）、MPI（分布式内存）和 CUDA（GPU）并行化技术，将其编译为优化后的 C++ 代码。
• 实现顺序蒙特卡洛（SMC）方法，如用于状态估计的粒子滤波，以及用于联合状态与参数推断的 PMCMC 和 SMC²。
• 通过随机语句（例如伽马分布、正态分布、逆伽马分布）指定先验分布，初始条件在初始子块中设定。
• 在 proposal_parameter 块中定义参数的提议分布，从而在 SMC 框架内实现高效的 MCMC 移动。
• 通过似然模型将观测值与状态关联，例如通过高斯噪声围绕确定性变换（如 Pa = Pp + Z*F + error）建立关系。

实验结果

研究问题

• RQ1 如何在现代高度并行的计算架构上高效实现贝叶斯状态空间模型？
• RQ2 在 CPU、GPU 和集群上，基于 SMC 的推断方法（如粒子滤波、PMCMC 和 SMC²）能实现多大的性能提升？
• RQ3 LibBi 的领域特定语言和代码生成流程在指定与执行复杂状态空间模型方面提供了哪些支持？
• RQ4 SMC 方法在非线性和非高斯模型（如三元件 Windkessel 模型和 Lorenz '96 系统）中能提供多大程度上的准确推断？
• RQ5 在应用于真实世界动力系统时，LibBi 在不同硬件配置下的相对性能如何？

主要发现

• LibBi 在 CPU、GPU 和集群上成功编译并执行了基于 SMC 方法的三元件 Windkessel 模型和 Lorenz '96 模型的推断。
• Windkessel 模型的参数为 R、C、Z 和 σ²，状态为 Pp，观测值 Pa 通过高斯似然模型与之关联。
• Lorenz '96 模型被用作非线性混沌动力学的基准，展示了 LibBi 在高维、非高斯场景下的能力。
• 性能基准测试显示，与单线程 CPU 执行相比，GPU 和多核 CPU 显著提升了运行速度，分布式集群实现了良好的强可扩展性。
• CUDA 和 OpenMP 的使用实现了高效的 GPU 和共享内存并行计算，而 MPI 支持了跨节点的分布式内存执行。
• 实证结果证实，PMCMC 和 SMC² 方法在两个模型上均提供了准确的后验估计，且在多次迭代中表现出收敛性。