[论文解读] Implementing Approximate Bayesian Inference using Adaptive Quadrature: the aghq Package

Alex Stringer|arXiv (Cornell University)|Jan 12, 2021

Soil Geostatistics and Mapping参考文献 26被引用 6

一句话总结

本文介绍了 aghq R 包，用于使用自适应高斯-埃尔米特求积法（AGHQ）进行近似贝叶斯推断，通过利用 TMB 接口实现自动微分和拉普拉斯近似，使复杂高维模型（尤其是潜高斯模型和零膨胀空间回归模型）的后验计算更加高效。该方法在现有 TMB 用户中仅需极少代码修改即可实现精确推断，适用于低维和高维问题，包括传染病和天体统计模型，表现优异。

ABSTRACT

The aghq package for implementing approximate Bayesian inference using adaptive quadrature is introduced. The method and software are described, and use of the package in making approximate Bayesian inferences in several challenging low- and high-dimensional models is illustrated. Examples include an infectious disease model; an astrostatistical model for estimating the mass of the Milky Way; two examples in non-Gaussian model-based geostatistics including one incorporating zero-inflation which is not easily fit using other methods; and a model for zero-inflated, overdispersed count data. The aghq package is especially compatible with the popular TMB interface for automatic differentiation and Laplace approximation, and existing users of that software can make approximate Bayesian inferences with aghq using very little additional code. The aghq package is available from CRAN and complete code for all examples in this paper can be found at https://github.com/awstringer1/aghq-software-paper-code.

研究动机与目标

• 开发一个用户友好的 R 包，用于使用自适应求积法进行近似贝叶斯推断，特别适用于具有复杂似然函数和高维性的模型。
• 通过 AGHQ 实现全后验近似，扩展现有基于 TMB 的推断能力，不再仅限于拉普拉斯近似。
• 解决具有挑战性的模型（如零膨胀地统计模型和过度离散计数模型），这些模型难以用 INLA 或 MCMC 等标准软件包拟合。
• 为精确后验计算不可行的模型提供可扩展、高效的 MCMC 替代方案。

提出的方法

• 使用自适应高斯-埃尔米特求积法（AGHQ）通过基于后验众数和曲率调整求积节点和权重，近似边际似然。
• 该方法与 TMB 包集成，重用其自动微分和拉普拉斯近似基础设施，以高效计算未归一化对数后验及其梯度。
• aghq 包使用 TMB 的 MakeADFun 生成一个模板函数，返回在拉普拉斯近似下的对数边际似然，随后传递给 aghq::marginal_laplace_tmb 进行 AGHQ 精化。
• 对于高维模型，通过增加求积点数进行多次 AGHQ 评估，可恢复边际拉普拉斯近似，在不产生过度计算成本的前提下提升精度。
• 该方法通过将似然建模为点质量与二项分布分量的混合，支持具有潜高斯过程、零膨胀和过度离散性的模型。
• 该实现设计为与现有 TMB 代码向后兼容，仅需极少修改即可添加近似贝叶斯推断功能。

实验结果

研究问题

• RQ1 在 MCMC 计算成本过高、难以处理的高维非高斯模型中，自适应求积法是否能有效近似边际似然？
• RQ2 AGHQ 推断在复杂空间和计数模型中，与 MCMC、INLA 和 MCML 相比，在准确性和计算效率方面表现如何？
• RQ3 aghq 包在多大程度上扩展了基于 TMB 的推断范围，使其超越拉普拉斯近似，实现完整的贝叶斯后验推断？
• RQ4 AGHQ 是否能够处理 INLA 或标准 GLMMs 不兼容的零膨胀和过度离散计数数据模型？
• RQ5 在实现相似后验覆盖范围和点估计的情况下，AGHQ 相对于 MCMC 的计算成本如何？

主要发现

• 在 Loa loa 传染病模型中，AGHQ 对 $\rho$（空间范围）的后验区间为 45.4 至 87.5 公里，与 MCMC 结果（48.4 至 95.8 公里）非常接近，且运行时间显著更短（195 秒 vs. 2520 秒）。
• 在零膨胀地统计二项模型中，AGHQ 有效估计了传播概率 ($p$) 和适宜性概率 ($\rho$)，而 INLA 因非潜高斯结构而无法处理。
• aghq 包在 MCML 上耗时 36.2 秒，INLA 耗时 42.7 秒，而 AGHQ 仅用 195 秒完成，展示了准确性和速度之间的有利权衡。
• 通过使用多个求积点，AGHQ 恢复了边际拉普拉斯近似，使高维潜高斯模型的可扩展推断成为可能。
• 该方法在银河系质量模型和过度离散计数数据中实现了准确的后验估计，而其他方法失败或需要大量调参。
• 与 TMB 的集成使得 AGHQ 仅需极少代码修改即可应用，实现了复杂层次模型中快速原型设计和推断。