[论文解读] Approximate Bayesian Computation via Regression Density Estimation

Yanan Fan, David J. Nott+1 more|arXiv (Cornell University)|Dec 6, 2012

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

该论文提出了一种新颖的近似贝叶斯计算（ABC）方法，通过回归密度估计直接近似似然函数，从而在高维设置下实现高效且稳定的无需似然推断。通过使用灵活的专家混合模型对摘要统计量进行变换，该方法在无需先前模拟的情况下实现了准确的似然近似，支持最小计算开销下的贝叶斯与频率学派推断。

ABSTRACT

Approximate Bayesian computation (ABC) methods, which are applicable when the likelihood is difficult or impossible to calculate, are an active topic of current research. Most current ABC algorithms directly approximate the posterior distribution, but an alternative, less common strategy is to approximate the likelihood function. This has several advantages. First, in some problems, it is easier to approximate the likelihood than to approximate the posterior. Second, an approximation to the likelihood allows reference analyses to be constructed based solely on the likelihood. Third, it is straightforward to perform sensitivity analyses for several different choices of prior once an approximation to the likelihood is constructed, which needs to be done only once. The contribution of the present paper is to consider regression density estimation techniques to approximate the likelihood in the ABC setting. Our likelihood approximations build on recently developed marginal adaptation density estimators by extending them for conditional density estimation. Our approach facilitates reference Bayesian inference, as well as frequentist inference. The method is demonstrated via a challenging problem of inference for stereological extremes, where we perform both frequentist and Bayesian inference.

研究动机与目标

• 开发一种以似然为中心的标准ABC方法的替代方案，避免直接近似后验分布。
• 实现高效、可重用的似然近似，用于跨多个先验的敏感性分析。
• 在高维摘要统计量空间中提高数值稳定性和准确性。
• 使用单一、可分析的似然估计，同时支持贝叶斯与频率学派推断。

提出的方法

• 该方法使用灵活的专家混合变换，将观测到的摘要统计量和参数映射到一个条件密度估计更稳定的变换空间。
• 将边际自适应密度估计器扩展至条件密度估计，从而允许对似然函数 $ L({\bf S}|{\boldsymbol\theta}) $ 进行非参数近似。
• 似然从模拟数据对 $ ({\bf S}^{(i)}, {\boldsymbol\theta}^{(i)}) $ 中估计，无需从先验中抽样。
• 应用回归密度估计来建模 $ f({\bf S}|{\boldsymbol\theta}) $，从而获得似然的显式解析表达式。
• 该方法支持使用估计似然直接计算最大似然估计和后验分布。
• 该方法在高维设置（例如115维）下仍表现出数值稳定性，而标准多元正态混合模型则无法做到。

实验结果

研究问题

• RQ1 以似然为中心的ABC方法是否在计算稳定性与可重用性方面优于标准的后验近似ABC方法？
• RQ2 回归密度估计在高维摘要统计量空间中能否准确近似复杂且不可解析的似然函数？
• RQ3 估计的似然在多大程度上支持可靠的频率学派推断，例如最大似然估计？
• RQ4 一旦似然被估计，是否可以高效地执行先验敏感性分析，而无需重新运行模拟？
• RQ5 通过专家混合的变换是否显著提升了数值稳定性，相比直接的多元密度估计？

主要发现

• 回归密度估计方法在115维摘要统计量空间中仍能产生数值稳定的似然近似，而标准多元正态混合模型则失败。
• 基于估计似然的最大似然估计在非信息先验下与贝叶斯后验估计一致。
• 在 $ \xi \sim N(0, a^2) $ 中对 $ a $ 的不同取值进行先验敏感性分析显示，对于模糊先验（$ a=100 $）影响极小，仅在强先验（$ a=0.1 $）下出现显著差异。
• 估计的似然使直接的频率学派推断成为可能，包括MLE，而无需额外的ABC抽样。
• 与Bortot等（2007）的ABC方法在 $ \delta = 3.3 $ 时相比，该方法在后验精度方面表现更优，可信区间更窄。
• 使用灵活的专家混合变换显著提升了稳定性与准确性，相比直接对原始 $ ({\bf S}, {\boldsymbol\theta}) $ 对进行密度估计。