[论文解读] Exact ABC using Importance Sampling

Minh Ngoc Tran, Robert Kohn|arXiv (Cornell University)|Jan 1, 2015

Markov Chains and Monte Carlo Methods参考文献 8被引用 4

一句话总结

该论文提出了一种基于重要性采样的精确ABC方法（EABC-IS2），通过去偏技术构建似然函数的无偏估计量，消除了标准ABC方法中固有的系统性误差。通过结合无偏似然估计与重要性采样，该方法在无需容忍度参数的情况下，实现了对真实后验期望的几乎必然收敛，如在高斯模型和伊辛模型中的实验所示，随着样本量增加，估计值持续收敛至真实值。

ABSTRACT

Approximate Bayesian Computation (ABC) is a powerful method for carrying out Bayesian inference when the likelihood is computationally intractable. However, a drawback of ABC is that it is an approximate method that induces a systematic error because it is necessary to set a tolerance level to make the computation tractable. The issue of how to optimally set this tolerance level has been the subject of extensive research. This paper proposes an ABC algorithm based on importance sampling that estimates expectations with respect to the "exact" posterior distribution given the observed summary statistics. This overcomes the need to select the tolerance level. By "exact" we mean that there is no systematic error and the Monte Carlo error can be made arbitrarily small by increasing the number of importance samples. We provide a formal justification for the method and study its convergence properties. The method is illustrated in two applications and the empirical results suggest that the proposed ABC based estimators consistently converge to the true values as the number of importance samples increases. Our proposed approach can be applied more generally to any importance sampling problem where an unbiased estimate of the likelihood is required.

研究动机与目标

• 解决标准ABC方法中因容忍度参数 ǫ > 0 而引入的系统性误差问题。
• 开发一种无需依赖近似似然函数即可对精确后验分布 p(θ|sobs) 的期望进行估计的方法。
• 为基于无偏似然估计的重要性采样估计量提供形式化证明与收敛性分析。
• 通过实证结果表明，所提出的估计量在样本数量增加时会收敛至真实后验均值。
• 将该方法推广至任何需要无偏似然估计的重要性采样问题。

提出的方法

• 利用Rhee和Glynn（2013）以及McLeish（2012）提出的去偏框架，通过在一系列递减的容忍度水平 ǫk 上随机化，构造似然函数 p(sobs|θ) 的无偏估计量。
• 使用一组伪数据 s_i^k ∼ p(·|θ) 通过核密度估计方法估计ABC似然 pABC,ǫk(sobs|θ)。
• 应用重要性采样，利用无偏似然估计量来估计后验期望 E[ϕ(θ)|sobs]，确保估计量以几乎必然收敛于真实值。
• 引入一个随机停止时间 T，满足 P(T ≥ k) > 0，构造无偏估计量 bλ = ζ₀ + Σ_{k=1}^T ̟k(ζk − ζk−1)，其中 ̟k = 1/P(T ≥ k)。
• 推导出无偏估计量方差有限的理论条件，从而保证其收敛性质。
• 使用提议分布 gIS(θ) 和权重 bw(θ, u) 对重要性采样框架中的样本进行重加权，确保估计的一致性与渐近正态性。

实验结果

研究问题

• RQ1 能否通过随机化与去偏技术，在ABC中构造出对不可计算似然函数的无偏估计？
• RQ2 所提出的EABC-IS2方法是否能消除ABC推断中因容忍度 ǫ > 0 而产生的系统性误差？
• RQ3 基于无偏似然估计的重要性采样估计量是否能实现对真实后验期望的几乎必然收敛？
• RQ4 随着样本量增加，EABC-IS2在准确性和收敛性方面与标准ABC及精确MCMC相比表现如何？
• RQ5 在何种条件下，无偏似然估计量的方差是有限的，从而保证重要性采样估计量的收敛性？

主要发现

• 在伊辛模型中，EABC-IS2对θ后验均值的估计在 M = 200,000 个样本下收敛至 0.5099（0.0001），与通过1,000,000次迭代获得的精确MCMC估计值 0.5099 一致。
• 随着重要性样本数 M 增加，EABC-IS2的估计值持续趋近真实后验均值，表现出无系统性偏差的几乎必然收敛性。
• 对于伊辛模型，ABC-PMMH在 ǫ = 0.1、1 和 10 时分别产生 0.5100、0.5108 和 0.5094 的有偏估计，表明即使在大样本量下仍存在持续的系统性误差。
• 理论分析证明，在核函数与似然函数满足正则性条件时，无偏似然估计量的方差是有限的，从而保证了重要性采样估计量的收敛性。
• 该方法实现了估计量的渐近正态性，其中 √M( Êπ(ϕ) − Eπ(ϕ) ) 依分布收敛于 N(0, σ²ϕ)，证实了推断的有效性。
• 该方法可推广至任何需要无偏似然估计的重要性采样问题，其适用范围不仅限于ABC，还可扩展至更广泛的贝叶斯计算场景。