[论文解读] AABC: approximate approximate Bayesian computation when simulating a large number of data sets is computationally infeasible

Erkan O. Buzbas, Noah A. Rosenberg|arXiv (Cornell University)|Jan 26, 2013

Markov Chains and Monte Carlo Methods参考文献 42被引用 3

一句话总结

本文提出AABC（近似近似贝叶斯计算），一种在模拟数据计算成本过高而难以进行标准ABC方法时，仍能实现复杂机制模型贝叶斯推断的方法。通过使用少量模拟数据构建一个非机制性、重采样的模型，AABC能够高效生成大规模后验样本，并在模拟规模和数据规模增大时收敛至真实的ABC后验分布。

ABSTRACT

Approximate Bayesian computation (ABC) methods perform inference on model-specific parameters of mechanistically motivated parametric statistical models when evaluating likelihoods is difficult. Central to the success of ABC methods is computationally inexpensive simulation of data sets from the parametric model of interest. However, when simulating data sets from a model is so computationally expensive that the posterior distribution of parameters cannot be adequately sampled by ABC, inference is not straightforward. We present approximate approximate Bayesian computation" (AABC), a class of methods that extends simulation-based inference by ABC to models in which simulating data is expensive. In AABC, we first simulate a limited number of data sets that is computationally feasible to simulate from the parametric model. We use these data sets as fixed background information to inform a non-mechanistic statistical model that approximates the correct parametric model and enables efficient simulation of a large number of data sets by Bayesian resampling methods. We show that under mild assumptions, the posterior distribution obtained by AABC converges to the posterior distribution obtained by ABC, as the number of data sets simulated from the parametric model and the sample size of the observed data set increase simultaneously. We illustrate the performance of AABC on a population-genetic model of natural selection, as well as on a model of the admixture history of hybrid populations.

研究动机与目标

• 解决由于模拟机制模型数据计算成本过高，导致标准ABC方法不可行的问题。
• 开发一种方法，使在计算成本高昂的模型中能够高效抽样模型特定参数的后验分布。
• 通过两阶段近似框架，弥合机制建模与非参数贝叶斯方法之间的鸿沟。
• 在较弱正则性条件下，确保AABC后验分布收敛至真实ABC后验分布。

提出的方法

• AABC首先从计算成本高昂的机制模型中模拟出有限数量的数据集，形成一个固定的样本数据集集合。
• 利用这些模拟数据集的狄利克雷重采样，构建一个非机制性的统计模型，从而实现大规模合成数据集的高效模拟。
• 对于从先验中抽取的每个参数值，使用模拟数据集中最接近的参数值进行匹配，从而在参数空间中引入均匀核平滑近似。
• 该方法采用贝叶斯非参数重采样（类似于Rubin的贝叶斯自助法），为初始模拟中的数据点分配概率，从而支持重复抽样。
• 后验推断基于从非机制性重采样模型中导出的似然函数，而非原始机制模型。
• 该方法允许研究者通过设定初始模拟次数（m）预先固定计算时间，从而确保达到目标后验样本大小。

实验结果

研究问题

• RQ1 当从机制模型中模拟数据的成本过高，无法使用标准ABC方法时，能否可靠地进行后验推断？
• RQ2 如何利用复杂模型的有限次模拟，实现大规模后验抽样？
• RQ3 随着初始模拟次数和观测数据规模的增加，AABC后验分布与真实ABC后验分布之间的理论关系是什么？
• RQ4 非机制性、重采样的模型能否保持机制模型中模型特定参数的可解释性？

主要发现

• AABC使在标准ABC因数据模拟计算成本过高而失效的模型中，仍能对模型特定参数进行后验抽样。
• 随着初始模拟次数（m）和观测数据规模的增加，AABC获得的后验分布收敛至真实ABC后验分布。
• 当m取中等值时（例如10^3至10^4），AABC可生成足够质量的后验样本，而标准ABC方法在此类场景下已失效。
• 该方法为研究者提供了一种实用方案：通过固定m值，可预先设定计算时间，从而确保达到目标后验样本大小。
• AABC保持了机制模型中模型特定参数的可解释性，而这是纯非参数方法所不具备的。
• 该方法引入了两个近似：一是通过最近邻映射对参数空间的近似，二是通过对模拟数据进行狄利克雷重采样对模型空间的近似。