[论文解读] Semi-automatic Approximate Bayesian Computation

Paul Fearnhead, Dennis Prangle|arXiv (Cornell University)|Apr 7, 2010

Markov Chains and Monte Carlo Methods参考文献 29被引用 19

一句话总结

本文提出了一种半自动方法，通过额外模拟估计参数的后验均值，以选择近似贝叶斯计算（ABC）中的最优摘要统计量。该方法显著提升了与经验性摘要统计量及竞争方法相比的推断准确性，使得在似然函数不可计算的模型中能够实现更可靠的参数估计。

ABSTRACT

Many modern statistical applications involve inference for complex stochastic models, where it is easy to simulate from the models, but impossible to calculate likelihoods. Approximate Bayesian computation (ABC) is a method of inference for such models. It replaces calculation of the likelihood by a step which involves simulating artificial data for different parameter values, and comparing summary statistics of the simulated data to summary statistics of the observed data. Here we show how to construct appropriate summary statistics for ABC in a semi-automatic manner. We aim for summary statistics which will enable inference about certain parameters of interest to be as accurate as possible. Theoretical results show that optimal summary statistics are the posterior means of the parameters. While these cannot be calculated analytically, we use an extra stage of simulation to estimate how the posterior means vary as a function of the data; and then use these estimates of our summary statistics within ABC. Empirical results show that our approach is a robust method for choosing summary statistics, that can result in substantially more accurate ABC analyses than the ad-hoc choices of summary statistics proposed in the literature. We also demonstrate advantages over two alternative methods of simulation-based inference.

研究动机与目标

• 解决在似然函数不可计算的复杂模型中，近似贝叶斯计算（ABC）的有信息摘要统计量选择挑战。
• 开发一种方法，通过聚焦于最能保留感兴趣参数信息的摘要统计量，最小化ABC中的估计误差。
• 提供一种实用的、基于模拟的替代方案，以替代常导致推断性能不佳的经验性摘要统计量选择方法。
• 通过从模拟数据中经验估计，近似最优摘要统计量——后验均值——来提升ABC的准确性。

提出的方法

• 该方法使用一个辅助模拟阶段，以估计观测数据与参数后验均值之间的函数关系，将其视为一个回归问题。
• 应用基于回归的估计方法，以建模每个参数的后验均值如何随从模拟数据中提取的摘要统计量而变化。
• 将此辅助回归中估计出的后验均值用作主ABC分析中的最终摘要统计量。
• 该方法利用一个理论洞见：最优摘要统计量即为参数的后验均值，因此为启发式选择提供了一个有原则的替代方案。
• 在贝叶斯框架内整合了类似机器学习的回归技术，以在无需解析似然函数的情况下，将数据映射到最优统计量。
• 该方法是半自动的，因为它结合了人工选择的初始摘要统计量与通过模拟自动估计最优变换的过程。

实验结果

研究问题

• RQ1 如何选择ABC的摘要统计量，以最大化对感兴趣参数的后验推断准确性？
• RQ2 在似然函数不可计算的设定下，能否有效估计参数的后验均值，使其作为最优摘要统计量？
• RQ3 在ABC中使用估计的后验均值作为摘要统计量，是否能带来比经验性或启发式摘要统计量更准确的推断？
• RQ4 与其它基于模拟的推断技术相比，该半自动方法在性能上表现如何？

主要发现

• 通过实证比较，所提出的方法在ABC分析中产生的准确性显著优于常用的经验性摘要统计量。
• 使用估计的后验均值作为摘要统计量可提高推断精度，尤其在高维参数空间中表现更优。
• 在准确性和鲁棒性方面，该方法优于两种替代的基于模拟的推断技术。
• 实证结果证实，该半自动方法在一系列具有不可计算似然函数的复杂随机模型中均表现出鲁棒性。
• 辅助模拟阶段有效捕捉了后验均值对数据的函数依赖关系，从而在无需解析似然评估的情况下实现了准确近似。