[论文解读] Integrated Nested Laplace Approximations (INLA)

Sara Martino, Andrea Riebler|arXiv (Cornell University)|Jul 2, 2019

Statistical Methods and Bayesian Inference参考文献 35被引用 11

一句话总结

本文介紹了集成嵌套拉普拉斯近似（INLA），这是一种针对潜在高斯模型（LGMs）的确定性贝叶斯推断方法，通过解析近似与数值积分实现快速、精确的后验近似。INLA 以计算高效的方法替代了缓慢的 MCMC 方法，尤其适用于精度矩阵稀疏且超参数向量维度较小（<15）的模型，并通过 R-INLA 软件包实现，便于在应用统计学与空间建模中广泛使用。

ABSTRACT

This is a short description and basic introduction to the Integrated nested Laplace approximations (INLA) approach. INLA is a deterministic paradigm for Bayesian inference in latent Gaussian models (LGMs) introduced in Rue et al. (2009). INLA relies on a combination of analytical approximations and efficient numerical integration schemes to achieve highly accurate deterministic approximations to posterior quantities of interest. The main benefit of using INLA instead of Markov chain Monte Carlo (MCMC) techniques for LGMs is computational; INLA is fast even for large, complex models. Moreover, being a deterministic algorithm, INLA does not suffer from slow convergence and poor mixing. INLA is implemented in the R package R-INLA, which represents a user-friendly and versatile tool for doing Bayesian inference. R-INLA returns posterior marginals for all model parameters and the corresponding posterior summary information. Model choice criteria as well as predictive diagnostics are directly available. Here, we outline the theory behind INLA, present the R-INLA package and describe new developments of combining INLA with MCMC for models that are not possible to fit with R-INLA.

研究动机与目标

• 提出 INLA 作为 MCMC 在潜在高斯模型（LGMs）中贝叶斯推断的计算高效替代方法。
• 通过引入确定性框架，解决 MCMC 的局限性，如收敛缓慢与混合不良。
• 在复杂层次模型中，实现对潜在效应与超参数的边际后验分布的精确近似。
• 通过利用稀疏精度矩阵与高效的数值积分，将贝叶斯推断的适用范围扩展至大规模 LGMs。
• 通过 R-INLA 软件生态系统中的内置准则与预测检验，支持模型选择与诊断。

提出的方法

• 结合解析近似与数值积分，以近似 LGMs 中的后验边际分布。
• 对潜在高斯场与超参数的联合后验应用拉普拉斯近似，重点聚焦于单变量边际分布。
• 利用潜在场中的条件独立性（马尔可夫性质）以确保精度矩阵 Q(θ) 的稀疏性。
• 采用高斯马尔可夫随机场（GMRFs）作为平滑效应、随机效应及空间/时间依赖性的先验。
• 引入 SPDE 方法，通过稀疏 GMRFs 近似连续空间场，实现对马尔可夫协方差结构的高效计算。
• 实施嵌套近似结构：首先通过数值积分近似超参数 θ 的后验，再利用该结果近似潜在变量 x 的后验。

实验结果

研究问题

• RQ1 能否通过确定性方法在远快于 MCMC 的速度下实现对潜在高斯模型的精确贝叶斯推断？
• RQ2 在层次模型中，如何降低高维后验积分的计算负担？
• RQ3 在 LGMs 中，INLA 相较于 MCMC 在何种条件下能提供可靠近似？
• RQ4 SPDE 方法如何在 INLA 框架内高效建模连续空间过程？
• RQ5 在何种场景下可将 INLA 与 MCMC 结合，以扩展其在标准 LGMs 之外的适用范围？

主要发现

• INLA 在计算速度上比 MCMC 快数个数量级，同时为潜在高斯模型提供高度精确的后验近似。
• 当超参数向量 θ 的维度少于 15 时，该方法尤为有效，受限于数值积分的计算约束。
• 由 GMRF 先验诱导的精度矩阵 Q(θ) 的稀疏性，支持高效计算并实现大规模数据集的可扩展性。
• SPDE 方法可对马尔可夫协方差场实现近似 GMRF 表示，从而高效建模连续空间依赖性。
• R-INLA 软件实现支持广泛的似然函数、先验分布及用户自定义模型，并配备丰富的附加包以支持特定应用场景。
• 将 INLA 与 MCMC 结合，可实现对 R-INLA 不直接支持的模型的推断，从而将适用范围扩展至更复杂的层次结构。