[论文解读] Bayesian Optimization for Likelihood-Free Inference of Simulator-Based Statistical Models

Michael U. Gutmann, Jukka Corander|arXiv (Cornell University)|Jan 14, 2015

Gaussian Processes and Bayesian Inference参考文献 56被引用 86

一句话总结

本文提出贝叶斯优化似然-free推断（BOLFI），一种通过使用高斯过程建模观测数据与模拟数据之间的差异，并利用贝叶斯优化智能选择下一次模拟的参数，从而加速基于模拟器的统计推断的方法。该方法将所需模拟次数减少了几个数量级，显著提升了似然函数不可计算的模型的计算效率。

ABSTRACT

Our paper deals with inferring simulator-based statistical models given some observed data. A simulator-based model is a parametrized mechanism which specifies how data are generated. It is thus also referred to as generative model. We assume that only a finite number of parameters are of interest and allow the generative process to be very general; it may be a noisy nonlinear dynamical system with an unrestricted number of hidden variables. This weak assumption is useful for devising realistic models but it renders statistical inference very difficult. The main challenge is the intractability of the likelihood function. Several likelihood-free inference methods have been proposed which share the basic idea of identifying the parameters by finding values for which the discrepancy between simulated and observed data is small. A major obstacle to using these methods is their computational cost. The cost is largely due to the need to repeatedly simulate data sets and the lack of knowledge about how the parameters affect the discrepancy. We propose a strategy which combines probabilistic modeling of the discrepancy with optimization to facilitate likelihood-free inference. The strategy is implemented using Bayesian optimization and is shown to accelerate the inference through a reduction in the number of required simulations by several orders of magnitude.

研究动机与目标

• 解决基于模拟器的模型中似然函数不可计算时，似然-free推断方法计算成本过高的问题。
• 克服现有方法效率低下的问题，即在缺乏下一步采样位置指导的情况下进行大量随机模拟。
• 开发一种策略，利用差异的概率建模与优化相结合，引导搜索能够最小化差异的参数值。
• 在复杂模型（如具有隐变量的随机动力系统）中实现高效推断，这些模型中传统基于似然的方法会失效。

提出的方法

• 使用高斯过程将观测数据与模拟数据之间的差异建模为模型参数的函数。
• 利用贝叶斯优化根据平衡探索与利用的采集函数，选择下一次模拟的参数值。
• 采用确定性或随机的采集规则，逐步更新差异的高斯过程模型。
• 通过最小化差异函数，识别出最能重现观测数据的参数值。
• 将差异模型与似然-free推断框架（如合成似然或ABC）集成，以提升效率。
• 利用高斯过程后验分布估计差异中的不确定性，引导优化向信息增益高的区域推进。

实验结果

研究问题

• RQ1 贝叶斯优化能否在似然函数不可计算的基于模拟器的模型中，显著减少似然-free推断所需的模拟次数？
• RQ2 BOLFI 在模拟效率和收敛速度方面与标准似然-free推断方法相比表现如何？
• RQ3 BOLFI 在处理具有高维参数空间和非线性动力学的复杂基于模拟器的模型时，其能力边界在哪里？
• RQ4 BOLFI 对差异估计中的噪声和模型误设的鲁棒性如何？
• RQ5 不同采集函数对推断过程收敛性和准确性的影响是什么？

主要发现

• 与标准似然-free推断方法相比，BOLFI 将所需模拟次数减少了几个数量级。
• 在包含100个数据点的Ricker模型上，实证表明该方法可在显著减少模拟次数的前提下实现高精度推断。
• 采用对数高斯过程对差异进行建模，可实现有效的不确定性量化，并高效探索参数空间。
• 该方法对噪声具有鲁棒性，能够处理具有复杂非线性动力学和隐变量的模型。
• 实证结果表明，BOLFI 在固定模拟预算下，收敛速度更快且精度更高，优于基于MCMC的推断方法。
• 在计算效率方面，BOLFI 显著优于标准ABC和合成似然方法，尤其在高维参数空间中表现更优。