[论文解读] BSL: An R Package for Efficient Parameter Estimation for Simulation-Based Models via Bayesian Synthetic Likelihood

Ziwen An, Leah F. South+1 more|arXiv (Cornell University)|Jul 25, 2019

Statistical Methods and Bayesian Inference被引用 6

一句话总结

本文介绍了 BSL R 包，这是一个用于在基于模拟的模型中通过贝叶斯合成似然（BSL）实现高效参数估计的综合性工具。它集成了标准、无偏和半参数合成似然估计器，以及收缩协方差方法（包括图模型选择和收缩估计），以减少模拟负担，从而实现对具有不可计算似然函数的复杂模型的更快、更可扩展的推断。

ABSTRACT

Bayesian synthetic likelihood (BSL) is a popular method for estimating the parameter posterior distribution for complex statistical models and stochastic processes that possess a computationally intractable likelihood function. Instead of evaluating the likelihood, BSL approximates the likelihood of a judiciously chosen summary statistic of the data via model simulation and density estimation. Compared to alternative methods such as approximate Bayesian computation (ABC), BSL requires little tuning and requires less model simulations than ABC when the chosen summary statistic is high-dimensional. The original synthetic likelihood relies on a multivariate normal approximation of the intractable likelihood, where the mean and covariance are estimated by simulation. An extension of BSL considers replacing the sample covariance with a penalised covariance estimator to reduce the number of required model simulations. Further, a semi-parametric approach has been developed to relax the normality assumption. In this paper, we present an R package called BSL that amalgamates the aforementioned methods and more into a single, easy-to-use and coherent piece of software. The R package also includes several examples to illustrate how to use the package and demonstrate the utility of the methods.

研究动机与目标

• 解决传统似然免费方法（如 ABC）在高维摘要统计量设置下的计算低效问题。
• 开发一个统一、用户友好的 R 包，实现先进的 BSL 方法，以提高可扩展性并减少模型模拟需求。
• 整合多种合成似然估计器和协方差收缩技术，以提升性能和鲁棒性。
• 提供内置示例和可视化工具，以支持可重复研究和方法的采用。
• 实现对复杂模型（如随机细胞生物学和金融汇率模型）的高效推断，这些模型具有高维或大参数空间。

提出的方法

• 基于模拟的摘要统计量，使用多元正态分布近似似然，实现贝叶斯合成似然（BSL）。
• 引入一种无偏合成似然估计器，通过使用校正样本协方差矩阵，减少协方差估计中的偏差。
• 通过图模型选择和收缩估计器（如 Warton 方法）应用惩罚协方差估计，以减少所需模拟次数。
• 使用 MCMC 抽样探索后验分布，通过并行化和共享模拟重用实现高效计算。
• 开发惩罚选择函数 `selectPenalty`，基于对数似然的目标标准差自动调整正则化参数。
• 通过核密度估计放松摘要统计量分布的正态性假设，支持半参数 BSL。

实验结果

研究问题

• RQ1 使用收缩协方差估计的 BSL 是否能显著减少准确后验推断所需的模型模拟次数？
• RQ2 当摘要统计量为高维时，BSL 与 ABC 在计算效率和准确性方面相比如何？
• RQ3 在模型设定错误的情况下，使用无偏和半参数 BSL 估计器在多大程度上改善了后验估计？
• RQ4 所提出的惩罚选择程序是否能可靠地识别 MCMC 设置中协方差估计的最优正则化参数？
• RQ5 所实现的方法在具有高维摘要统计量或大量参数的模型中扩展性能如何？

主要发现

• BSL R 包成功将多种 BSL 变体和收缩方法整合到一个统一、连贯的软件框架中，实现了对复杂模型的高效推断。
• 在 MA(2) 例子中，使用图模型选择并结合惩罚选择，显著减少了模拟次数，同时保持了后验估计的准确性，最优惩罚值在 n = 500 时被选中。
• 与标准 BSL 相比，无偏 BSL 估计器显著改善了 MCMC 链的混合性并减少了偏差，尤其在高维设置下表现更优。
• 即使摘要统计量偏离正态性，半参数 BSL 方法也表现出稳健性能，在轻微非正态性下优于标准 BSL。
• `selectPenalty` 函数有效识别了能平衡方差与偏差的正则化参数，对数似然的目标标准差接近期望值（例如 1.44–1.50）。
• 该包在真实世界示例中表现出色，包括一个高维随机细胞生物学模型和一个多参数金融汇率模型，证实了其实际应用价值。