[论文解读] A Note on Target Distribution Ambiguity for Likelihood-Free Samplers (ABC)

Scott A. Sisson, Gareth W. Peters+2 more|arXiv (Cornell University)|May 28, 2010

Markov Chains and Monte Carlo Methods参考文献 17被引用 11

一句话总结

本文研究了似然免费近似贝叶斯计算（ABC）采样器中目标分布的模糊性，表明由于目标分布形式的模糊性，标准算法可能导致不一致的后验近似。通过推广现有ABC方法，作者揭示了理论局限性，并强调了对未来似然免费推断算法的可靠性与设计的影响。

ABSTRACT

Methods for Bayesian simulation in the presence of computationally intractable likelihood functions are of growing interest. Termed likelihood-free samplers, standard simulation algorithms such as Markov chain Monte Carlo have been adapted for this setting. In this article, by presenting generalisations of existing algorithms, we demonstrate that likelihood-free samplers can be ambiguous over the form of the target distribution. We also consider the theoretical justification of these samplers. Distinguishing between the forms of the target distribution may have implications for the future development of likelihood-free samplers.

研究动机与目标

• 研究在似然函数计算不可行的情况下，似然免费采样器（特别是ABC）的理论基础。
• 识别并形式化由于模型和似然近似而引起的ABC算法中目标分布的模糊性。
• 研究ABC中不同算法选择如何在相同统计模型下导致不一致的后验近似。
• 为观察到的模糊性提供理论依据，并指导未来稳健的似然免费推断方法的发展。

提出的方法

• 作者推广现有ABC算法，以探讨摘要统计量和容差水平的选择变化如何影响后验近似的靶分布。
• 通过考虑不同近似方案下后验分布的极限形式，分析ABC采样器的理论基础。
• 对ABC中的靶分布进行形式化处理，表明靶分布并非仅由模型唯一确定，而是依赖于采样和近似机制。
• 通过引入更广泛的ABC算法类别，作者证明了多个靶分布可与同一模型和数据一致，从而导致模糊性。
• 使用理论分析推导出ABC采样器的靶分布可能与真实后验不同的条件，即使在渐近情况下亦然。
• 该研究借助测度论和随机过程概念，形式化了不同ABC实现中靶分布的模糊性。

实验结果

研究问题

• RQ1 似然免费采样器（如ABC）在相同统计模型和数据下，能在多大程度上产生不同的后验近似？
• RQ2 摘要统计量和容差水平的选择如何影响ABC采样器的靶分布？
• RQ3 ABC算法的靶分布能否由底层统计模型唯一确定？
• RQ4 在何种理论条件下ABC采样器可收敛至真实后验，又在何种情况下可能失败？
• RQ5 靶分布的模糊性如何影响基于ABC的推断的可靠性和可解释性？

主要发现

• 即使模型和数据固定，似然免费采样器（如ABC）也可能因靶分布的模糊性而产生不一致的后验近似。
• ABC采样器的靶分布不仅取决于统计模型，还取决于摘要统计量和容差水平等算法选择。
• 即使基于同一模型，不同的ABC算法也可能收敛至不同的极限分布，表明该方法存在根本性模糊性。
• 理论分析表明，标准ABC收敛性论证并不能保证靶分布的唯一性，从而挑战了当前实践中的假设。
• 研究结果表明，为确保ABC近似既准确又可解释，必须对算法设计进行审慎考量。