[论文解读] GPS-ABC: Gaussian Process Surrogate Approximate Bayesian Computation

Edward Meeds, Max Welling|arXiv (Cornell University)|Jan 13, 2014

Markov Chains and Monte Carlo Methods参考文献 29被引用 56

一句话总结

GPS-ABC 通过在马尔可夫链蒙特卡洛（MCMC）接受步骤中利用不确定性估计，引入高斯过程代理模型，显著减少了近似贝叶斯计算（ABC）中的模拟器调用次数。通过将模拟结果存储在对参数到摘要统计量映射进行建模的高斯过程中，该方法自适应地决定是重新模拟还是依赖代理模型，从而在控制后验推断误差的前提下实现显著的效率提升。

ABSTRACT

Scientists often express their understanding of the world through a computationally demanding simulation program. Analyzing the posterior distribution of the parameters given observations (the inverse problem) can be extremely challenging. The Approximate Bayesian Computation (ABC) framework is the standard statistical tool to handle these likelihood free problems, but they require a very large number of simulations. In this work we develop two new ABC sampling algorithms that significantly reduce the number of simulations necessary for posterior inference. Both algorithms use confidence estimates for the accept probability in the Metropolis Hastings step to adaptively choose the number of necessary simulations. Our GPS-ABC algorithm stores the information obtained from every simulation in a Gaussian process which acts as a surrogate function for the simulated statistics. Experiments on a challenging realistic biological problem illustrate the potential of these algorithms.

研究动机与目标

• 解决在似然不可知的基于模拟的模型中，近似贝叶斯计算（ABC）带来的高计算成本问题。
• 减少在 ABC 框架中进行后验推断所需的昂贵模拟器调用次数。
• 开发一种代理建模方法，通过高斯过程从过往模拟中学习，并随时间推移持续改进。
• 通过在 MCMC 中使用代理模型接受概率的不确定性来控制采样误差，从而指导模拟决策。
• 实现在复杂、计算密集型科学模拟中高效且可扩展的推断。

提出的方法

• 该方法使用高斯过程（GP）对从模拟器参数到摘要统计量的映射进行建模，构建模拟输出的代理模型。
• 在每个 MCMC 步骤中，GP 提供接受概率的预测分布，包含不确定性估计。
• 该算法利用 GP 预测的不确定性来决定是重新模拟还是在 MH 决策中采用代理模型的估计值。
• 若不确定性较高，则执行额外模拟以降低 MH 步骤中出错的风险。
• GP 随每次新模拟结果增量式更新，从而提高准确性并减少未来对模拟的需求。
• 该方法将 GP 的不确定性直接整合到 MH 接受准则中，实现了在高效率下的可控偏差。

实验结果

研究问题

• RQ1 高斯过程代理模型是否能在保持后验准确性的同时显著减少 ABC 推断中的模拟器调用次数？
• RQ2 如何利用代理模型的不确定性来指导 MCMC 中的自适应模拟决策？
• RQ3 在高维或计算成本高昂的模拟场景下，基于 GP 的代理模型能在多大程度上提升 ABC 的效率？
• RQ4 在似然不可知推断中，代理模型的不确定性如何影响 MCMC 链的收敛性和混合性能？
• RQ5 该框架是否可通过利用预先计算的统计量进行后验预测检查，支持模型检验与选择？

主要发现

• GPS-ABC 算法通过依赖随每次新模拟而不断改进的 GP 代理模型，显著减少了 ABC 推断所需的模拟器调用次数。
• 该方法通过利用 GP 接受概率中的不确定性来决定何时模拟或信任代理模型，从而实现可控的采样误差。
• 在真实生物问题（Wright-Fisher 模型）上的实验表明，该方法在大幅降低计算成本的同时，仍能保持合理的后验准确性。
• 后验预测检查可自然支持，因为 ABC 摘要统计量已预先计算并用于模型评估与选择。
• 该框架通过比较观测数据与代理模型生成的后验预测分布，实现了高效的模型检验。
• 该方法在与哈密顿蒙特卡洛或贝叶斯优化获取函数等先进采样技术集成方面展现出潜力，可进一步降低模拟成本。