[论文解读] Approximating the Likelihood in Approximate Bayesian Computation

Christopher Drovandi, Clara Grazian+2 more|arXiv (Cornell University)|Mar 18, 2018

Markov Chains and Monte Carlo Methods参考文献 73被引用 10

一句话总结

本文提出了两种似然近似方法——贝叶斯合成似然（BSL）与贝叶斯经验似然（BCel），通过用参数化或经验化替代方案取代非参数似然估计，以提升近似贝叶斯计算（ABC）中的计算效率。BSL 使用多变量正态分布近似总结统计量的分布，而 BCel 则利用矩约束构建经验似然，两者均可减少模拟次数，并在使用不当先验的情况下仍能通过贝叶斯因子实现模型比较。

ABSTRACT

This chapter will appear in the forthcoming Handbook of Approximate Bayesian Computation (2018). The conceptual and methodological framework that underpins approximate Bayesian computation (ABC) is targetted primarily towards problems in which the likelihood is either challenging or missing. ABC uses a simulation-based non-parametric estimate of the likelihood of a summary statistic and assumes that the generation of data from the model is computationally cheap. This chapter reviews two alternative approaches for estimating the intractable likelihood, with the goal of reducing the necessary model simulations to produce an approximate posterior. The first of these is a Bayesian version of the synthetic likelihood (SL), initially developed by Wood (2010), which uses a multivariate normal approximation to the summary statistic likelihood. Using the parametric approximation as opposed to the non-parametric approximation of ABC, it is possible to reduce the number of model simulations required. The second likelihood approximation method we consider in this chapter is based on the empirical likelihood (EL), which is a non-parametric technique and involves maximising a likelihood constructed empirically under a set of moment constraints. Mengersen et al (2013) adapt the EL framework so that it can be used to form an approximate posterior for problems where ABC can be applied, that is, for models with intractable likelihoods. However, unlike ABC and the Bayesian SL (BSL), the Bayesian EL (BCel) approach can be used to completely avoid model simulations in some cases. The BSL and BCel methods are illustrated on models of varying complexity.

研究动机与目标

• 解决标准 ABC 方法在无似然推断中计算成本高且调参负担重的问题。
• 减少在似然不可求模型中进行后验近似所需的模型模拟次数。
• 开发比非参数 ABC 更好地适应总结统计量维度增加的似然近似方法。
• 即使在先验不正确的情况下，也能通过贝叶斯因子实现模型比较，这是标准 ABC 的一个局限。

提出的方法

• BSL 假设总结统计量服从均值为 μ(θ) 和协方差为 Σ(θ) 的多变量正态分布，通过从模型中进行蒙特卡洛模拟来估计该分布。
• 合成似然定义为 p_n(s_obs|θ) = N(s_obs; μ_n(θ), Σ_n(θ))，其中 n 为用于估计矩的模拟次数。
• BCel 在基于总结统计量的矩约束下构建经验似然，采用非参数框架，可在某些情况下避免模型模拟。
• BCel 中的约束选择为在重新参数化下不变且能反映依赖结构的信息，例如斯皮尔曼等级相关系数 ρ。
• BSL 与 BCel 均嵌入贝叶斯框架中以生成近似后验分布，且 BCel 允许精确计算贝叶斯因子。
• 该方法在复杂度递增的模型上进行了验证，包括具有 Clayton 两依存结构的多变量 g-and-k 分布。

实验结果

研究问题

• RQ1 对总结统计量似然的参数化近似是否能减少 ABC 中所需的模型模拟次数？
• RQ2 在总结统计量维度增加的情况下，BSL 相较于 ABC 在计算效率和可扩展性方面表现如何？
• RQ3 在某些情形下，能否利用经验似然完全避免模型模拟来构建似然近似？
• RQ4 在 ABC 背景下，哪些约束最有效地构建可靠的经险似然？
• RQ5 BCel 是否能在使用不当先验的情况下实现通过贝叶斯因子进行模型比较，而这是标准 ABC 所不具备的？

主要发现

• BSL 通过使用总结统计量分布的参数化多变量正态近似，显著减少了标准 ABC 所需的模型模拟次数。
• 在某些情况下，BCel 可通过依赖于观测数据的矩约束完全避免模型模拟。
• 在多变量 Clayton 两依存结构的模拟研究中，如方程 (4) 所定义的斯皮尔曼等级相关系数 ρ 的后验分布，其近似值准确地集中在真实值 0.5 附近。
• BCel 允许在使用不当先验时进行模型比较，这一特性在标准 ABC 中不可用。
• 约束的选择，如缩放后的复合似然得分函数，可提升对重新参数化的不变性以及在 ABC 类设置中对后验曲率的适应性。
• 实证结果表明，BSL 与 BCel 在复杂模型上均能产生准确的后验近似，包括高维总结统计量和复杂依赖结构的模型。