[论文解读] Likelihood-free MCMC with Amortized Approximate Ratio Estimators

Joeri Hermans, Volodimir Begy+1 more|arXiv (Cornell University)|Mar 10, 2019

Gaussian Processes and Bayesian Inference参考文献 76被引用 27

一句话总结

本文提出了一种无需似然函数的MCMC方法，利用一次训练的神经网络近似似然比（likelihood-to-evidence ratio），在似然函数不可计算时实现高效的后验抽样。通过一次性训练比率估计器并在MCMC迭代中重复使用，该方法在提升数值稳定性的同时，提供了评估近似质量的诊断工具，实现了准确的后验推断。

ABSTRACT

Posterior inference with an intractable likelihood is becoming an increasingly common task in scientific domains which rely on sophisticated computer simulations. Typically, these forward models do not admit tractable densities forcing practitioners to make use of approximations. This work introduces a novel approach to address the intractability of the likelihood and the marginal model. We achieve this by learning a flexible amortized estimator which approximates the likelihood-to-evidence ratio. We demonstrate that the learned ratio estimator can be embedded in MCMC samplers to approximate likelihood-ratios between consecutive states in the Markov chain, allowing us to draw samples from the intractable posterior. Techniques are presented to improve the numerical stability and to measure the quality of an approximation. The accuracy of our approach is demonstrated on a variety of benchmarks against well-established techniques. Scientific applications in physics show its applicability.

研究动机与目标

• 解决具有不可计算似然和不可计算边缘模型的科学模型中的后验推断挑战。
• 开发一种无需显式似然计算即可近似似然比的方法。
• 通过在多个参数提议中可转移地估计比率，实现高效的MCMC抽样。
• 提升数值稳定性，并为不可计算设置下的近似质量提供诊断工具。
• 在物理学和复杂模拟中的真实科学问题中展示方法的适用性。

提出的方法

• 使用前向模型生成的模拟数据，训练神经网络以估计似然比 $ r(\mathbf{x}|\bm{\theta}) = \frac{p(\mathbf{x}|\bm{\theta})}{p(\mathbf{x})} $。
• 利用学习到的比率估计器在Metropolis-Hastings和Hamiltonian Monte Carlo采样器中计算接受率，从而绕过直接的似然计算。
• 通过在 $ (\bm{\theta}, \mathbf{x}) $ 对数据集上一次性训练网络，实现比率估计的可转移性，使网络可在所有MCMC转移中重复使用。
• 引入基于比率估计器在多次前向模拟中方差的诊断指标，以评估近似质量。
• 对比率估计器应用归一化和稳定化技术，以提升MCMC抽样过程中的数值鲁棒性。
• 使用全连接和卷积架构（如LeNet、ResNet）评估比率估计器的泛化能力和容量。

实验结果

研究问题

• RQ1 是否可以训练神经网络以近似似然比，从而支持在不可计算似然下的高效MCMC抽样？
• RQ2 与标准的无需似然函数推断方法相比，可转移比率估计在抽样精度和效率方面表现如何？
• RQ3 学习到的比率估计器是否可在无需重新训练的情况下可靠地用于多个MCMC迭代？
• RQ4 在不可计算设置下，哪些诊断工具能有效评估比率近似的质量？
• RQ5 该方法是否可扩展至具有高维观测值的复杂科学模型（如物理学中的模型）？

主要发现

• 所提方法在基准问题（包括圆模型和g-and-k分布）上实现了与现有无需似然函数推断技术相当的后验抽样精度。
• 可转移比率估计器通过在所有转移中重用单个训练好的网络，实现了稳定且高效的MCMC抽样，显著降低了计算开销。
• 基于比率估计器在多次模拟中方差的诊断指标，能有效识别近似质量较差的区域，尤其在圆模型中参数 $ r $ 的区域表现突出。
• 该方法在基于物理的模拟模型上表现出色，展示了其在真实科学推断任务中的适用性。
• 容量更高的模型（如ResNet-18）在估计比率方面优于简单架构（如全连接网络），尤其在复杂后验分布下表现更优。
• 在比率估计器中使用ReLU激活函数相比其他激活函数选择，能带来更稳定和准确的边缘后验估计。