[论文解读] Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)

Aliaksandr Hubin, Geir Storvik|arXiv (Cornell University)|Nov 4, 2016

Statistical Methods and Bayesian Inference参考文献 10被引用 17

一句话总结

本文评估了集成嵌套拉普拉斯近似（INLA）在具有潜变量高斯结构的贝叶斯模型中估计边际似然的方法，将其与传统的拉普拉斯近似、Chib方法及调和平均估计器进行比较。INLA在各类模型（线性、逻辑斯蒂及泊松混合效应模型）中均提供了快速且精确的近似，与参考方法高度一致，尤其在使用默认设置时表现更优。

ABSTRACT

The marginal likelihood is a well established model selection criterion in Bayesian statistics. It also allows to efficiently calculate the marginal posterior model probabilities that can be used for Bayesian model averaging of quantities of interest. For many complex models, including latent modeling approaches, marginal likelihoods are however difficult to compute. One recent promising approach for approximating the marginal likelihood is Integrated Nested Laplace Approximation (INLA), design for models with latent Gaussian structures. In this study we compare the approximations obtained with INLA to some alternative approaches on a number of examples of different complexity. In particular we address a simple linear latent model, a Bayesian linear regression model, logistic Bayesian regression models with probit and logit links, and a Poisson longitudinal generalized linear mixed model.

研究动机与目标

• 评估集成嵌套拉普拉斯近似（INLA）在具有潜变量高斯结构的复杂贝叶斯模型中估计边际似然的准确性和可靠性。
• 比较INLA在多种模型类型中相对于传统方法（如拉普拉斯近似、Chib与Jeliazkov方法、调和平均估计器及嵌套抽样）的性能表现。
• 评估INLA的默认设置是否足以提供足够精确的估计，以支持贝叶斯模型选择与模型平均。
• 研究INLA相对于基于MCMC的方法及确定性近似方法的计算效率。

提出的方法

• INLA通过在超参数θ上积分，利用潜变量η给定θ的后验的高斯近似来近似边际似然。
• 该方法采用η给定θ的后验众数，并结合拉普拉斯近似对联合后验进行近似，从而实现无需MCMC抽样的快速计算。
• 对于每个模型，INLA将边际似然计算为 ∫ p(y|θ,η,M) / π̃_G(η|y,θ,M) dθ，其中η* = mode(η|y,θ,M)。
• 研究使用了四类模型的真实数据与模拟数据：线性潜变量模型、贝叶斯线性回归、使用probit/logit链接的逻辑回归，以及泊松纵向广义线性混合模型（GLMM）。
• 通过标准指标进行比较：对数边际似然值、计算时间及收敛行为。
• 通过敏感性分析调整调优参数，以评估其鲁棒性及潜在的精度提升空间。

实验结果

研究问题

• RQ1 在不同模型类型中，INLA在估计边际似然方面与Chib方法及拉普拉斯近似相比，其准确性如何？
• RQ2 当使用默认设置时，INLA是否仍能保持高精度？还是必须进行参数调优与敏感性检查才能实现可靠的模型选择？
• RQ3 在复杂模型中，INLA的计算效率与基于MCMC的方法（如调和平均估计器与嵌套抽样）相比如何？
• RQ4 在具有潜变量高斯结构的模型中，INLA是否能提供稳定且精确的边际似然估计，尤其是在存在随机效应的情况下？
• RQ5 当真实边际似然难以计算时，INLA是否可信赖于贝叶斯模型平均与模型选择？

主要发现

• INLA在所有测试的模型类型中，其边际似然估计值与Chib与Jeliazkov方法及拉普拉斯近似等参考方法高度一致。
• 在泊松混合效应模型中，INLA估计的对数边际似然为 -915.61，与Chib与Jeliazkov的参考值 -915.49 非常接近，也与核密度估计法得到的另一估计值 -915.23 高度一致。
• 调和平均估计器产生了显著偏差的结果（如 -279.47 vs. -257.23），表明其具有高度变异性与不可靠性。
• INLA的计算时间与拉普拉斯近似相当——在泊松混合模型中约为1.85秒，显示出相对于基于MCMC的替代方法的极高效率。
• 在所有示例中，INLA的默认设置均能提供可靠估计，表明在实际贝叶斯模型选择中通常无需调优。
• 敏感性分析表明，调整调优参数可进一步提升精度，但默认设置已足够精确，适用于大多数应用场景。