[论文解读] Fast $\epsilon$-free Inference of Simulation Models with Bayesian Conditional Density Estimation

George Papamakarios, Iain Murray|arXiv (Cornell University)|May 20, 2016

Markov Chains and Monte Carlo Methods参考文献 25被引用 27

一句话总结

本文提出了一种贝叶斯条件密度估计方法，用于在模拟模型中进行无需ε容忍度的似然自由推断。通过使用贝叶斯神经网络学习参数化的后验近似，并利用早期推断结果引导模拟过程，该方法在传统ABC方法所需模型模拟次数减少数个数量级的情况下，实现了准确的后验估计，尤其在低ε区域表现更优。

ABSTRACT

Many statistical models can be simulated forwards but have intractable likelihoods. Approximate Bayesian Computation (ABC) methods are used to infer properties of these models from data. Traditionally these methods approximate the posterior over parameters by conditioning on data being inside an $\epsilon$-ball around the observed data, which is only correct in the limit $\epsilon\! ightarrow\!0$. Monte Carlo methods can then draw samples from the approximate posterior to approximate predictions or error bars on parameters. These algorithms critically slow down as $\epsilon\! ightarrow\!0$, and in practice draw samples from a broader distribution than the posterior. We propose a new approach to likelihood-free inference based on Bayesian conditional density estimation. Preliminary inferences based on limited simulation data are used to guide later simulations. In some cases, learning an accurate parametric representation of the entire true posterior distribution requires fewer model simulations than Monte Carlo ABC methods need to produce a single sample from an approximate posterior.

研究动机与目标

• 解决传统近似贝叶斯计算（ABC）方法因依赖ε容忍度和基于样本的后验近似而造成的效率低下与不准确问题。
• 开发一种参数化、贝叶斯方法，直接估计精确后验分布 p(θ | x = xo)，而无需依赖ε球。
• 通过利用初步推断结果引导后续模拟，减少实现准确推断所需的昂贵模型模拟次数。
• 实现更准确、更高效的后验估计，包括在科学领域中复杂且似然不可计算的模型中的应用。

提出的方法

• 使用贝叶斯神经网络将条件密度 p(θ | x) 建模为真实后验 p(θ | x = xo) 的参数化近似。
• 采用两阶段推断流程：首先在少量初始模拟数据上拟合条件密度估计器；其次利用学习到的模型引导主动采样新的模拟。
• 应用随机变分推断与识别网络训练贝叶斯神经网络，从而在后验近似中实现不确定性量化。
• 利用学习模型的预测分布引导模拟选择，集中于后验密度较高的区域。
• 通过预运行结果对摘要统计量进行归一化，以稳定训练并提升在不同尺度下的泛化能力。
• 在对数域中进行参数推断，以提高数值稳定性，并与先验假设保持一致。

实验结果

研究问题

• RQ1 参数化的贝叶斯条件密度估计器是否在模拟效率和后验准确性方面优于传统ABC方法？
• RQ2 早期后验近似在多大程度上能够引导后续模拟，从而减少所需模型运行的总次数？
• RQ3 该方法在高维、似然不可计算的模型中，能否准确恢复真实后验分布？
• RQ4 所提出的方法是否能消除对ε容忍度的需求，同时保持或提升推断质量？

主要发现

• 所提方法在实现准确后验估计方面，所需模型模拟次数显著少于传统ABC方法，在某些情况下减少了数个数量级。
• 该方法学习到的参数化后验近似比标准ABC中使用的ε近似更为准确，尤其在 ε → 0 时优势更明显。
• 通过利用早期推断结果引导模拟选择，方法将计算资源集中于后验密度较高的区域，从而提升收敛速度与准确性。
• 该方法在捕食者-猎物模型与M/G/1队列模型中均成功恢复了真实参数值，且在学习后的后验分布下，真实参数被赋予较高的对数概率。
• 通过预运行结果对摘要统计量进行归一化，提升了模型稳定性，并有效支持了条件密度估计器的训练。
• 该方法在复杂且似然不可计算的模型中表现出色，而标准ABC因模拟成本过高而难以应用。