[论文解读] Behaviour of ABC for Big Data

Wentao Li, Paul Fearnhead|arXiv (Cornell University)|Jun 10, 2015

Markov Chains and Monte Carlo Methods参考文献 42被引用 1

一句话总结

本文在大样本条件下建立了近似贝叶斯计算（ABC）后验均值的渐近正态性，表明使用维数等于参数向量的摘要统计量可使渐近方差最小化。此外，本文进一步证明，采用经过良好选择的提议分布进行重要性抽样，可使估计方差与基于摘要统计量的最大似然估计器相当，从而实现大规模数据下的高效ABC推断。

ABSTRACT

Many statistical applications involve models for which it is difficult to evaluate the likelihood, but from which it is relatively easy to sample. Approximate Bayesian computation is a likelihood-free method for implementing Bayesian inference in such cases. We present results on the asymptotic variance of estimators obtained using approximate Bayesian computation in a large-data limit. Our key assumption is that the data are summarized by a fixed-dimensional summary statistic that obeys a central limit theorem. We prove asymptotic normality of the mean of the approximate Bayesian computation posterior. This result also shows that, in terms of asymptotic variance, we should use a summary statistic that is the same dimension as the parameter vector, p; and that any summary statistic of higher dimension can be reduced, through a linear transformation, to dimension p in a way that can only reduce the asymptotic variance of the posterior mean. We look at how the Monte Carlo error of an importance sampling algorithm that samples from the approximate Bayesian computation posterior affects the accuracy of estimators. We give conditions on the importance sampling proposal distribution such that the variance of the estimator will be the same order as that of the maximum likelihood estimator based on the summary statistics used. This suggests an iterative importance sampling algorithm, which we evaluate empirically on a stochastic volatility model.

研究动机与目标

• 分析在大样本极限下ABC后验估计量的渐近方差。
• 确定为使ABC后验方差最小化，摘要统计量的最优维数。
• 研究重要性抽样带来的蒙特卡洛误差如何影响ABC估计量的准确性。
• 识别在何种条件下ABC中的重要性抽样可实现与最大似然估计器相当的方差。
• 提出并实证评估一种适用于大规模数据场景的迭代重要性抽样算法。

提出的方法

• 假设数据由满足中心极限定理的固定维数摘要统计量进行总结。
• 在该假设下，证明ABC后验均值的渐近正态性。
• 推导出重要性抽样提议分布的条件，使得所得估计量的方差与基于摘要统计量的最大似然估计器处于同一阶。
• 提出一种迭代重要性抽样算法，通过自适应改进提议分布以降低方差。
• 在随机波动率模型上对算法进行实证评估，以检验其在实际中的性能。
• 使用线性变换将高维摘要统计量降维至p维，且不增加渐近方差。

实验结果

研究问题

• RQ1 在大样本条件下，ABC后验均值的渐近分布是什么？
• RQ2 摘要统计量的维数如何影响ABC后验均值的渐近方差？
• RQ3 在何种条件下，ABC中的重要性抽样可实现与最大似然估计器相当的估计方差？
• RQ4 在大规模数据场景中，迭代重要性抽样算法能否提升ABC估计的准确性？
• RQ5 是否可能将高维摘要统计量降维至p维而不增加后验方差？

主要发现

• 在摘要统计量满足中心极限定理的假设下，ABC后验均值是渐近正态的。
• 使用维数等于参数向量p的摘要统计量可使后验均值的渐近方差最小化。
• 任何更高维的摘要统计量均可通过线性变换降维至p维，且不增加渐近方差。
• 当提议分布满足某些正则性条件时，重要性抽样可得到与基于摘要统计量的最大似然估计器同阶方差的估计量。
• 所提出的迭代重要性抽样算法在随机波动率模型上的实证评估中显著降低了估计误差并提升了效率。
• 理论方差界表明，当结合精心选择的重要性抽样提议时，ABC可实现接近最优的效率。