[论文解读] Bootstrapped synthetic likelihood

Richard G. Everitt|arXiv (Cornell University)|Nov 15, 2017

Markov Chains and Monte Carlo Methods参考文献 10被引用 8

一句话总结

本文提出了一种自举合成似然（BLB-SL）方法，利用小样本自举法（BLB）降低合成似然估计的方差，从而在减少模拟次数的同时实现更精确的贝叶斯推断。结果表明，通过子采样和基于回归的均值估计，BLB-SL即使在大规模数据集上也能实现可靠的后验近似，相较于标准SL方法显著提升了效率。

ABSTRACT

Approximate Bayesian computation (ABC) and synthetic likelihood (SL) techniques have enabled the use of Bayesian inference for models that may be simulated, but for which the likelihood cannot be evaluated pointwise at values of an unknown parameter $θ$. The main idea in ABC and SL is to, for different values of $θ$ (usually chosen using a Monte Carlo algorithm), build estimates of the likelihood based on simulations from the model conditional on $θ$. The quality of these estimates determines the efficiency of an ABC/SL algorithm. In standard ABC/SL, the only means to improve an estimated likelihood at $θ$ is to simulate more times from the model conditional on $θ$, which is infeasible in cases where the simulator is computationally expensive. In this paper we describe how to use bootstrapping as a means for improving SL estimates whilst using fewer simulations from the model, and also investigate its use in ABC. Further, we investigate the use of the bag of little bootstraps as a means for applying this approach to large datasets, yielding Monte Carlo algorithms that accurately approximate posterior distributions whilst only simulating subsamples of the full data. Examples of the approach applied to i.i.d., temporal and spatial data are given.

研究动机与目标

• 通过降低似然估计的方差，同时不增加模拟成本，提升合成似然（SL）的效率。
• 通过使用小样本自举法（BLB）从子样本中估计方差，减少计算负担，将SL扩展至大规模数据集。
• 探究结合自举方差估计与回归方法是否能在全数据模拟不可行的情况下，实现SL中准确的后验近似。
• 在后验准确性与蒙特卡洛效率方面，评估BLB-SL相较于标准SL和ABC方法的性能。

提出的方法

• 使用小样本自举法（BLB）从大小为 $ N $ 的全数据集中生成多个大小为 $ n $ 的子样本，实现可扩展的方差估计。
• 应用自举法估计来自子样本的摘要统计量的协方差矩阵 $ \\-widehat{\Sigma}_{\theta} $，相比全数据模拟显著降低计算成本。
• 采用局部线性回归结合多个BLB对均值 $ \widehat{\mu}_{\theta} $ 的估计，降低均值估计的方差与偏差。
• 将改进后的SL估计集成到顺序蒙特卡洛（SMC）或MCMC算法中，用于后验近似。
• 在块状BLB中使用重标度方法，以考虑时间序列或空间数据中的依赖性，确保方差估计的一致性。
• 通过独立同分布、时间序列和空间模型的摘要统计量进行合成似然验证，包括伊辛模型。

实验结果

研究问题

• RQ1 自举法是否能在最小化额外模拟成本的前提下降低合成似然估计的方差？
• RQ2 小样本自举法（BLB）是否可通过子采样实现在大规模数据集上的准确合成似然估计？
• RQ3 基于回归的BLB均值估计校正是否能显著提升SL中后验估计的准确性？
• RQ4 在蒙特卡洛效率与后验准确性方面，BLB-SL相较于标准SL和ABC方法表现如何？
• RQ5 在大规模数据场景下，BLB-SL在何种条件下能保持低偏差与高有效样本量（ESS）？

主要发现

• 当 $ C = 100 $ 且 $ n = 10,000 $ 时，BLB-SL的后验近似与交换算法的真实后验高度一致，偏差与方差均极低。
• 即使使用 $ C = 200 $ 且 $ n = 2,500 $（即 $ N/n = 400 $），仍能获得准确的后验，表明对高子采样比率具有鲁棒性。
• SMC采样器的有效样本量（ESS）随BLB均值估计方差的增加而下降，证实方差减少对效率至关重要。
• 基于回归的均值估计能充分降低方差，即使原始BLB估计较嘈杂，也能生成准确的后验。
• 在伊辛模型示例中，该方法保持了低偏差与高精度，当 $ C $ 足够大时，后验标准差也得到良好近似。
• BLB-SL使得在标准ABC/SL因全数据模拟成本过高而不可行的大数据场景下，实现可扩展的贝叶斯推断成为可能。