[论文解读] Adaptive MCMC for synthetic likelihoods and correlated synthetic likelihoods

Umberto Picchini, Umberto Simola+1 more|arXiv (Cornell University)|Apr 9, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用 5

一句话总结

本文提出了两种针对合成似然（SL）的自适应MCMC策略，以降低计算成本并提升混合效率，尤其在后验概率较低的区域表现更优。通过顺序调整提议分布并利用相关粒子滤波技术，该方法提升了MCMC效率，使在宇宙学和非高斯随机系统等复杂模型中的成功推断成为可能。

ABSTRACT

Synthetic likelihood (SL) is a strategy for parameter inference when the likelihood function is analytically or computationally intractable. In SL, the likelihood function of the data is replaced by a multivariate Gaussian density for summary statistics compressing the observed data. SL requires simulation of many replicate datasets at every parameter value considered by a sampling algorithm, such as MCMC, making the method computationally-intensive. We propose two strategies to alleviate the computational burden imposed by SL algorithms. We first introduce a novel MCMC algorithm for SL where the proposal distribution is sequentially tuned. Second, we exploit strategies borrowed from the correlated particle filters literature, to improve the MCMC mixing in a SL framework. Our methods enable inference for challenging case studies when the MCMC is initialised in low posterior probability regions of the parameter space, where standard samplers failed. Our goal is to provide ways to make the best out of each expensive MCMC iteration with SL algorithms, which will broaden the scope of these methods for models with costly simulators. To illustrate the advantages stemming from our framework we consider three benchmark examples, including estimation of parameters for a cosmological model and a stochastic model with highly non-Gaussian summary statistics.

研究动机与目标

• 为减少合成似然（SL）方法的计算负担，此类方法在每次MCMC迭代中需重复模拟。
• 在后验概率较低的区域初始化时，改善MCMC的混合性能，因为标准SL采样器在此类区域会失效。
• 提升SL框架中每次昂贵MCMC迭代的效率，尤其针对模拟成本较高的模型。
• 将SL的应用范围扩展至具有高度非高斯汇总统计量和高维参数空间的复杂模型。

提出的方法

• 提出一种顺序自适应MCMC算法，在采样过程中动态调整提议分布，以提升收敛性和混合性能。
• 将相关粒子滤波技术适配至MCMC框架中，生成相关提议，降低方差并提升探索能力。
• 采用多变量正态分布近似来替代SL中难以计算的似然函数。
• 基于历史样本迭代调整提议协方差矩阵的尺度与结构，随时间逐步提升提议质量。
• 结合自适应调优与相关采样，即使在后验分布几何复杂的情况下，也能保持较高的有效样本量。
• 将该框架应用于模拟成本较高的模型，确保每次MCMC迭代均对后验分布探索有实质性贡献。

实验结果

研究问题

• RQ1 当在后验概率较低的区域初始化时，自适应MCMC策略是否能提升合成似然中MCMC的混合与收敛性能？
• RQ2 如何将粒子滤波中的相关采样技术整合进SL-MCMC框架以提升效率？
• RQ3 自适应提议调优在多大程度上可减少SL中每次MCMC迭代所需的模拟次数？
• RQ4 所提出的方法是否能成功推断出具有高度非高斯汇总统计量的模型中的参数？
• RQ5 该方法在具有昂贵模拟器的模型（如宇宙学模型）中性能扩展性如何？

主要发现

• 自适应MCMC方法显著提升了SL中的混合与收敛性能，尤其在标准采样器失效的低后验概率区域表现突出。
• 相关采样技术的整合有效提升了有效样本量并降低了MCMC链的方差。
• 该方法成功实现了具有复杂高维汇总统计量和昂贵模拟器的宇宙学模型的参数推断。
• 在具有高度非高斯汇总统计量的随机模型中，该方法实现了可靠的参数估计，而标准SL方法在此类问题上表现困难。
• 通过自适应调优，每次MCMC迭代的信息量显著提升，从而减少了整体所需的模拟次数。
• 该框架在基准示例中表现出稳健性能，显著拓宽了合成似然方法可适用的模型范围。