[论文解读] A Pseudo-Marginal Perspective on the ABC Algorithm

Luke Bornn, Natesh S. Pillai+2 more|arXiv (Cornell University)|Apr 25, 2014

Markov Chains and Monte Carlo Methods参考文献 16被引用 5

一句话总结

本文表明，当似然函数可计算时，ABC算法的MCMC版本在效率上并不优于标准MCMC，因此在这些情况下，无需使用无似然MCMC。此外，本文还表明，某些ABC变体可被解释为伪边缘MCMC方法，从而实现接近基于似然的效率，尽管使用多个伪样本并不总能提升性能，相较于单个高方差样本，其性能未必更优。

ABSTRACT

In this paper, we make two observations about approximate Bayesian computation (ABC). First, we show that the MCMC version of an ABC algorithm is no more efficient than the corresponding MCMC algorithm. Thus likelihood-free MCMC methods should not be used if the corresponding MCMC algorithm is feasible to implement. Second, we observe that some variations of ABC algorithms can be viewed as pseudo-marginal MCMC algorithms, and hence may be made arbitrarily close to their respective likelihood-based MCMC methods. We subse-quently analyze the efficiency of the resulting algorithm, and present a surprising example which shows that multiple pseudo-samples do not necessarily improve the efficiency of the algorithm as compared to employing a high-variance estimate computed using a single pseudo-sample. 1

研究动机与目标

• 评估当似然函数可计算时，基于MCMC的ABC算法相对于标准MCMC的效率。
• 研究某些ABC算法是否可在特定条件下被解释为伪边缘MCMC方法。
• 分析在ABC设置中使用多个伪样本对算法效率的影响。
• 确定增加伪样本数量是否始终能提升ABC算法的性能。

提出的方法

• 通过将ABC中的似然近似视为噪声估计，本文在理论上建立了ABC算法与伪边缘MCMC之间的联系。
• 在特定条件下，证明了使用独立伪样本的ABC算法可被视为伪边缘MCMC方法。
• 作者推导了ABC算法在渐近效率上可与基于似然的对应方法相媲美的条件。
• 分析了ABC中似然估计的方差，表明单个高方差估计的性能可能优于多个低方差估计。
• 理论分析通过一个反例得到支持，该反例表明多个伪样本并不保证效率提升。

实验结果

研究问题

• RQ1 当似然函数可得时，ABC的MCMC版本是否比标准MCMC更高效？
• RQ2 在何种条件下，ABC算法可被解释为伪边缘MCMC方法？
• RQ3 在ABC中增加伪样本数量是否总是能提升算法效率？
• RQ4 在什么条件下，ABC可实现接近基于似然的MCMC的效率？
• RQ5 为何在ABC中，单个高方差伪样本可能优于多个低方差样本？

主要发现

• 当似然函数可计算时，ABC的MCMC版本在效率上并不优于标准MCMC，因此在这些情况下，无似然MCMC并非最优选择。
• 某些ABC算法可被解释为伪边缘MCMC方法，从而实现接近基于似然的效率。
• 使用多个伪样本并不一定比使用单个高方差估计更高效。
• 一个出人意料的反例表明，多个低方差伪样本的效率可能低于单个高方差样本。
• ABC算法的效率关键取决于似然估计的方差，而不仅仅取决于所用样本的数量。