[论文解读] Bayesian inference using synthetic likelihood: asymptotics and adjustments

David T. Frazier, David J. Nott+2 more|arXiv (Cornell University)|Feb 13, 2019

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文在摘要统计量满足中心极限定理的条件下，建立了合成似然后验的渐近正态性，证明了贝叶斯合成似然（BSL）能够提供具有正确频率覆盖的不确定性量化。此外，本文表明BSL在计算上比标准ABC更高效，并提出了类似三明治的方差校正方法，以纠正对协方差结构的错误建模（如对角或因子模型），在不牺牲推断准确性的情况下提升计算速度。

ABSTRACT

Implementing Bayesian inference is often computationally challenging in applications involving complex models, and sometimes calculating the likelihood itself is difficult. Synthetic likelihood is one approach for carrying out inference when the likelihood is intractable, but it is straightforward to simulate from the model. The method constructs an approximate likelihood by taking a vector summary statistic as being multivariate normal, with the unknown mean and covariance matrix estimated by simulation for any given parameter value. Our article makes three contributions. The first shows that if the summary statistic satisfies a central limit theorem, then the synthetic likelihood posterior is asymptotically normal and yields credible sets with the correct level of frequentist coverage. This result is similar to that obtained by approximate Bayesian computation. The second contribution compares the computational efficiency of Bayesian synthetic likelihood and approximate Bayesian computation using the acceptance probability for rejection and importance sampling algorithms with a "good" proposal distribution. We show that Bayesian synthetic likelihood is computationally more efficient than approximate Bayesian computation, and behaves similarly to regression-adjusted approximate Bayesian computation. Based on the asymptotic results, the third contribution proposes using adjusted inference methods when a possibly misspecified form is assumed for the covariance matrix of the synthetic likelihood, such as diagonal or a factor model, to speed up the computation. The methodology is illustrated with some simulated and real examples.

研究动机与目标

• 在摘要统计量满足中心极限定理的条件下，建立贝叶斯合成似然（BSL）的渐近频率性质。
• 通过拒绝采样和重要性采样算法，比较BSL与近似贝叶斯计算（ABC）的计算效率。
• 当摘要统计量的协方差矩阵被错误建模时（例如对角或因子模型），开发并证明BSL中方差校正方法的合理性。
• 在模型错误设定下，确保BSL中不确定性量化的有效性，特别是当假设的协方差结构不正确时。
• 通过真实和模拟示例，展示校正后推断在实际应用中的有效性，尤其在模拟成本较高的情况下。

提出的方法

• 在正则性条件下，建立BSL后验的渐近正态性，包括对摘要统计量协方差矩阵行为的统一控制。
• 通过为每个参数值模拟摘要统计量的均值和协方差，推导出合成似然估计量的渐近分布。
• 比较拒绝采样算法中BSL与ABC的接受概率，表明当使用良好的提议分布时，BSL的接受率不会趋于零，而ABC则会。
• 提出类似三明治的方差校正方法，以纠正假设协方差矩阵中的错误（如对角或因子模型），并利用渐近理论证明其稳健性。
• 将校正方法应用于模拟和真实数据，包括一个具有48维摘要统计量的蟾蜍扩散研究。
• 使用合成似然的MCMC方法，比较标准BSL、收缩BSL（减少模拟次数）和校正BSL，以评估后验精度和效率。

实验结果

研究问题

• RQ1 在何种条件下，合成似然后验收敛到正态分布，从而确保可信区间具有正确的频率覆盖？
• RQ2 在拒绝采样和重要性采样框架下，BSL与ABC的计算效率如何比较？
• RQ3 能否推导出针对BSL中摘要统计量协方差结构错误建模的方差校正方法？
• RQ4 当真实协方差未被正确建模时，这些校正方法在保持准确不确定性量化方面的有效性如何？
• RQ5 在BSL中使用简约协方差结构（如对角或因子模型）对计算成本和推断准确性有何影响？

主要发现

• 当摘要统计量满足中心极限定理时，合成似然后验渐近正态，且可信区间具有正确的频率覆盖。
• 在良好的提议分布下，BSL的拒绝采样接受概率保持非零，而ABC的接受率会随样本量增加而趋于零。
• BSL在计算上比标准ABC更高效，且在接受率和采样效率方面与回归校正ABC表现相当。
• 在蟾蜍示例中，使用收缩参数（γ=0.1）将每次MCMC迭代的模拟次数从500减少到50，显著提升了计算速度。
• 校正后的BSL后验比未经校正的收缩BSL更能准确恢复标准BSL的不确定性结构，尽管由于方差增大而带来一定效率损失。
• 在真实数据中，校正后验的方差膨胀更小，且与标准BSL的差异更小，表明其在实际应用中表现更稳健。