[论文解读] Generalized Posteriors in Approximate Bayesian Computation

Sebastian M. Schmon, Patrick W Cannon+1 more|arXiv (Cornell University)|Nov 17, 2020

Markov Chains and Monte Carlo Methods参考文献 30被引用 9

一句话总结

本文通过广义贝叶斯推断（GBI）的视角重新诠释了近似贝叶斯计算（ABC），将ABC的接受/拒绝步骤视为隐式误差模型。通过将核带宽视为鲁棒性噪声模型，并采用广义后验分布，该方法在模型误设条件下提升了推断效率与鲁棒性。实证结果表明，在相同计算预算下，使用广义损失函数的ABC-MCMC方法有效样本量（ESS）超过标准ABC的四倍以上。

ABSTRACT

Complex simulators have become a ubiquitous tool in many scientific disciplines, providing high-fidelity, implicit probabilistic models of natural and social phenomena. Unfortunately, they typically lack the tractability required for conventional statistical analysis. Approximate Bayesian computation (ABC) has emerged as a key method in simulation-based inference, wherein the true model likelihood and posterior are approximated using samples from the simulator. In this paper, we draw connections between ABC and generalized Bayesian inference (GBI). First, we re-interpret the accept/reject step in ABC as an implicitly defined error model. We then argue that these implicit error models will invariably be misspecified. While ABC posteriors are often treated as a necessary evil for approximating the standard Bayesian posterior, this allows us to re-interpret ABC as a potential robustification strategy. This leads us to suggest the use of GBI within ABC, a use case we explore empirically.

研究动机与目标

• 解决在模拟器误设且似然函数不可计算时，实现鲁棒贝叶斯推断的挑战。
• 将ABC的接受/拒绝机制重新诠释为隐式误差模型，从而建立与广义贝叶斯推断（GBI）的联系。
• 通过采用灵活的损失函数（如MMD和Wasserstein距离）构建广义后验分布，提升ABC在计算效率与鲁棒性方面的表现。
• 通过实证验证，广义后验ABC方法在有效样本量与误设条件下的稳定性方面优于标准ABC。

提出的方法

• 将ABC核函数 $ K_h $ 重新解释为隐式测量误差模型，将带宽 $ h $ 视为鲁棒性参数。
• 通过用一般损失函数替代标准似然函数，将广义贝叶斯推断（GBI）应用于ABC，即使在模拟器误设时也能实现鲁棒的后验近似。
• 在MCMC中采用基于每轮迭代多次模拟器抽样的伪边缘似然估计，以提升有效样本量（ESS）。
• 采用软阈值（st-abc）、MMD（k²-abc）和Wasserstein（w-abc）等损失函数定义广义后验分布，其中后两者表现出更优的鲁棒性。
• 调整每轮MCMC迭代的模拟器抽样次数，使接受率维持在约25%，并在固定计算预算下最大化ESS。
• 使用有效样本量（ESS）与Kolmogorov–Smirnov检验，对比广义ABC方法与标准ABC的性能表现。

实验结果

研究问题

• RQ1 ABC的接受/拒绝机制能否被重新诠释为隐式误差模型，从而建立与广义贝叶斯推断的联系？
• RQ2 在ABC中使用广义后验分布如何提升对模拟器误设的鲁棒性？
• RQ3 在相同计算预算下，使用广义损失函数（如MMD、Wasserstein）的ABC-MCMC相比标准ABC的相对效率如何？
• RQ4 广义后验ABC是否能在模型误设条件下实现与标准ABC相当的后验近似，同时具备更高的鲁棒性？

主要发现

• 在150万次模拟器调用的计算预算下，使用Wasserstein损失（w-abc）和MMD损失（k²-abc）的ABC-MCMC方法有效样本量（ESS）超过标准ABC（st-abc）四倍以上，分别为11,080与2,723。
• 广义后验ABC方法在高误设条件下保持稳定性能，而标准ABC（st-abc）即使使用64个粒子每轮，后验方差仍显著升高。
• 在所有误设水平下，k²-abc与w-abc方法均优于st-abc，即使每轮仅使用一个粒子。
• 两样本Kolmogorov–Smirnov检验未发现标准ABC与广义后验ABC方法生成的后验分布之间存在显著差异，表明两者具有相近的准确性。
• 损失平均化降低了k²-abc与w-abc的效率，但这些方法在所有粒子数量下仍优于st-abc，尤其在低粒子数时优势更为显著。