[论文解读] Fast approximate inference with INLA: the past, the present and the future

Daniel Simpson, Finn Lindgren+1 more|arXiv (Cornell University)|May 16, 2011

Blind Source Separation Techniques参考文献 4被引用 12

一句话总结

本文提出集成嵌套拉普拉斯近似（INLA）方法，用于在潜变量高斯模型中实现快速、确定性的贝叶斯推断，通过拉普拉斯近似和高斯马尔可夫随机场，借助 r-INLA R 包实现。该方法可对复杂模型（如空间模型、时空模型和脆弱性模型）实现近乎即时的后验估计，其速度远超马尔可夫链蒙特卡洛（MCMC）方法，同时在大规模数据集上保持高精度。

ABSTRACT

Latent Gaussian models are an extremely popular, flexible class of models. Bayesian inference for these models is, however, tricky and time consuming. Recently, Rue, Martino and Chopin introduced the Integrated Nested Laplace Approximation (INLA) method for deterministic fast approximate inference. In this paper, we outline the INLA approximation and its related R package. We will discuss the newer components of the r-INLA program as well as some possible extensions.

研究动机与目标

• 解决大规模贝叶斯推断中 MCMC 方法计算效率低下的问题，特别是针对空间和层次模型。
• 克服 MCMC 方法收敛缓慢且计算成本高的问题，其性能随样本量和模型复杂度的增加而显著下降。
• 通过利用条件独立性和稀疏精度矩阵，为潜变量高斯模型开发一种确定性、快速的替代 MCMC 的方法。
• 通过新型近似方法和算法创新，将 INLA 的适用范围扩展至非高斯先验和标准模型之外。
• 通过 r-INLA R 包，使流行病学、生存分析和空间统计等现实问题中的实际贝叶斯推断成为可能。

提出的方法

• 使用拉普拉斯近似计算潜变量高斯模型的边际后验分布，避免随机抽样。
• 应用嵌套拉普拉斯近似，对超参数进行积分，高效近似完整后验分布。
• 通过 GMRFLib C 库利用高斯马尔可夫随机场（GMRFs），实现稀疏精度矩阵的快速计算。
• 实现 r-INLA R 包，其语法与 R 中的 glm 函数相似，可无缝集成到现有统计工作流中。
• 通过使用非可分算子的随机偏微分方程（SPDEs），将 INLA 扩展至非可分的时空模型。
• 引入基于重要性采样的分解方法，将非高斯脆弱性项（如伽马分布）纳入 INLA 框架。

实验结果

研究问题

• RQ1 能否在不牺牲精度的前提下，为潜变量高斯模型开发一种确定性、快速的 MCMC 替代方法？
• RQ2 如何在保持可靠推断的前提下，显著降低大规模空间和层次模型中 MCMC 的计算负担？
• RQ3 在 INLA 框架中，SPDE 建模方法在构建灵活的非可分时空协方差结构方面可达到何种程度？
• RQ4 尽管存在非高斯假设，能否将生存模型中的伽马分布脆弱性项纳入 INLA 框架？
• RQ5 研究社区最需要哪些 INLA 方法的扩展？用户驱动的开发如何能进一步提升其实用性？

主要发现

• INLA 实现了潜变量高斯模型的近乎即时贝叶斯推断，将计算时间从 MCMC 所需的数小时甚至数天缩短至数秒或数分钟。
• r-INLA 包支持在复杂模型（如含平滑项的 Cox 比例风险模型、空间模型和动态线性模型）中实现快速推断。
• 基于 SPDE 的模型可实现具有物理可解释性和因果关系的非可分时空协方差结构，提升了时空建模的现实性。
• 重要性采样分解方法通过将伽马分布脆弱性项近似为对数正态先验与校正项的乘积，实现了其在 INLA 框架中的集成。
• 该方法保持了高精度，在基准案例中后验近似结果与 MCMC 结果在小数点后多位均一致。
• r-INLA 框架具有可扩展性和用户驱动特性，已提供测试版本以提前访问新功能，并基于社区反馈持续开发。