[论文解读] Efficient approximate Bayesian inference for models with intractable likelihoods

Johan Dahlin, Mattias Villani+1 more|arXiv (Cornell University)|Jun 23, 2015

Gaussian Processes and Bayesian Inference参考文献 46被引用 5

一句话总结

本文提出GPO-ABC，一种新颖方法，结合高斯过程优化与顺序蒙特卡洛近似贝叶斯计算，以高效近似非线性状态空间模型中不可计算的后验分布。其在计算成本显著降低的同时，实现了与粒子MCMC相当的精度，并提升了对似然估计噪声的鲁棒性，已在随机波动率模型和基于对偶的置信值风险模型中得到验证。

ABSTRACT

We consider the problem of approximate Bayesian parameter inference in nonlinear state space models with intractable likelihoods. Sequential Monte Carlo with approximate Bayesian computations (SMC-ABC) is an approach to approximate the likelihood in this type of models. However, such approximations can be noisy and computationally costly which hinders efficient implementations using standard methods based on optimisation and statistical simulation. We propose a novel method based on the combination of Gaussian process optimisation (GPO) and SMC-ABC to create a Laplace approximation of the intractable posterior. The properties of the resulting GPO-ABC method are studied using stochastic volatility (SV) models with both synthetic and real-world data. We conclude that the algorithm enjoys: good accuracy comparable to particle Markov chain Monte Carlo with a significant reduction in computational cost and better robustness to noise in the estimates compared with a gradient-based optimisation algorithm. Finally, we make use of GPO-ABC to estimate the Value-at-Risk for a portfolio using a copula model with SV models for the margins.

研究动机与目标

• 解决非线性状态空间模型中似然函数不可计算时，近似贝叶斯推断效率低下且易受噪声影响的问题。
• 通过用基于高斯过程的优化替代标准优化，降低SMC-ABC的计算成本。
• 提升后验近似对似然估计噪声的鲁棒性。
• 为复杂金融模型（如具有随机波动率边际的对偶组合）提供准确的推断能力。
• 提供一种可扩展的替代方案，与粒子MCMC相比精度相当但计算负担更低。

提出的方法

• 该方法将高斯过程优化（GPO）与顺序蒙特卡洛近似贝叶斯计算（SMC-ABC）相结合，构建不可计算后验的拉普拉斯近似。
• 利用GPO通过迭代采样和更新ABC差异函数的高斯过程代理，高效定位后验众数。
• 采用SMC-ABC框架生成似然的序列粒子近似，用于训练高斯过程代理。
• 围绕GPO估计的众数构建拉普拉斯近似，实现快速后验推断并量化不确定性。
• 该方法利用GPO的全局搜索能力，避免陷入局部最优，并降低对噪声似然估计的敏感性。
• 该方法应用于随机波动率模型以及具有SV边际的对偶模型，用于置信值风险估计。

实验结果

研究问题

• RQ1 高斯过程优化能否提升SMC-ABC在似然函数不可计算模型中的效率与鲁棒性？
• RQ2 在状态空间模型中，GPO-ABC与粒子MCMC及基于梯度的优化相比，在精度与计算成本方面表现如何？
• RQ3 与标准优化方法相比，GPO-ABC在多大程度上降低了对ABC似然估计噪声的敏感性？
• RQ4 GPO-ABC能否实现对复杂金融风险模型（如具有随机波动率边际的对偶组合）的实际贝叶斯推断？
• RQ5 与合成基准相比，GPO-ABC在真实数据应用中的表现如何？

主要发现

• GPO-ABC在显著降低计算成本的同时，实现了与粒子MCMC相当的后验精度。
• 与基于梯度的优化算法相比，该方法在似然估计噪声下表现出更强的鲁棒性。
• 基于GPO-ABC的拉普拉斯近似在合成与真实随机波动率模型中均提供了可靠且高效的后验近似。
• GPO-ABC成功实现了具有SV边际的对偶模型中的置信值风险估计，展示了其在真实金融风险问题中的适用性。
• 将GPO与SMC-ABC结合，相比标准优化方法，实现了更快的收敛速度并减少了对调参的依赖。
• 实证结果证实，即使ABC似然估计存在噪声，GPO-ABC仍能保持高精度，且在稳定性上优于基于梯度的替代方法。