[论文解读] Likelihood-free Markov chain Monte Carlo

Scott A. Sisson, Yanan Fan|arXiv (Cornell University)|Jan 13, 2010

Markov Chains and Monte Carlo Methods参考文献 31被引用 84

一句话总结

本文提出了一种无似然函数的马尔可夫链蒙特卡洛（LF-MCMC）方法，用于在似然函数难以计算或计算成本过高的模型中进行贝叶斯推断。通过使用模拟数据对比来替代显式的似然函数评估，该方法实现了基于MCMC的高效后验抽样，通过核加权的摘要统计量和自适应带宽，在模型拟合与误差评估方面表现出色。

ABSTRACT

To appear to MCMC handbook, S. P. Brooks, A. Gelman, G. Jones and X.-L. Meng (eds), Chapman & Hall.

研究动机与目标

• 解决似然函数在解析上不可行或计算成本过高的模型中的贝叶斯推断挑战。
• 开发一种基于MCMC的方法，通过依赖模拟数据和摘要统计量，绕过显式的似然函数评估。
• 通过自适应核加权和辅助变量建模，提高无似然函数推断中的抽样效率和后验近似精度。
• 提供一个实用的框架，用于在无似然函数设定下进行模型比较和误差评估，方法包括后预测检查和边际似然近似。

提出的方法

• 引入扩展后验模型 $\pi_{LF}(\theta, x|y) \propto \pi(y|x,\theta)\pi(x|\theta)\pi(\theta)$，其中 $x$ 是从模型中生成的模拟数据集。
• 使用核函数 $K$ 根据模拟摘要统计量 $T(x)$ 与观测摘要统计量 $T(y)$ 之间的相似性对后验进行加权，采用自适应带宽 $\epsilon_r$。
• 应用Metropolis-Hastings算法从近似后验 $\pi_{LF}(\theta|y)$ 中抽样，其提议分布依赖于当前状态以及 $T(x)$ 与 $T(y)$ 之间的核加权距离。
• 通过 $\tau_r = T_r(x) - T_r(y)$ 建立误差建模，并采用拉普拉斯先验 $\pi(\tau_r) = \exp(-|\tau_r|/\delta_r)/(2\delta_r)$ 来评估模型拟合效果并检测模型误设。
• 使用双权（四次）核函数，带宽由 $S=50$ 个模拟数据集中 $T_r(x^s) - T_r(y)$ 的四分位距的两倍确定。
• 通过50,000次MCMC迭代执行后验推断，以估计 $\pi_{LF}(\theta|y)$ 并评估误差 $\tau$ 的边际后验分布。

实验结果

研究问题

• RQ1 当似然函数不可计算时，如何调整MCMC抽样以实现贝叶斯推断？
• RQ2 核带宽选择和摘要统计量选择对无似然函数推断中近似后验精度的影响是什么？
• RQ3 如何在无似然函数设定下，利用后预测误差分布检测并量化模型误设？
• RQ4 在复杂模型中，基于MCMC的无似然函数方法与拒绝采样和序列蒙特卡洛相比，其相对效率如何？
• RQ5 无似然函数近似如何影响基于边际似然的模型比较？

主要发现

• 伽马模型对观测数据的拟合更好，因为联合后验误差分布 $\tau|y$ 以原点为中心，50%边际高密度区域为 $\tau_1|y \sim [-0.51, 0.53]$ 和 $\tau_2|y \sim [-0.44, 0.22]$。
• 指数模型显示出误设迹象，因为联合后验误差分布 $\tau|y$ 并未完全以零向量为中心，其边际50%区域为 $\tau_1|y \sim [-0.32, 1.35]$ 和 $\tau_2|y \sim [-0.55, 0.27]$。
• 基于四分位距的自适应带宽显著提高了核加权近似在LF-MCMC算法中的鲁棒性和效率。
• 该方法通过基于模拟的似然替代成功近似了真实后验 $\pi(\theta|y)$，并在50,000次MCMC迭代中展示了收敛性。
• 通过误差分布 $\tau_r$ 进行的后预测检查为无似然函数推断中的模型拟合评估提供了一种定量诊断工具。
• 序列蒙特卡洛和基于回归的方法显示出在效率上优于标准MCMC的潜力，尽管仍需进一步研究以优化性能。