[论文解读] Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution

Simon R. White, Theodore Kypraios+1 more|arXiv (Cornell University)|Jan 14, 2013

Markov Chains and Monte Carlo Methods参考文献 27被引用 5

一句话总结

本文提出了一种用于离散观测马尔可夫模型的分段近似贝叶斯计算（PW-ABC）方法，该方法将后验分布分解为条件独立的组成部分，从而在无需使用摘要统计量的情况下实现高效的ABC推断。通过分别对每个分量应用ABC，并采用高斯或核密度近似，该方法允许使用严格的容忍度，减少近似偏差，同时与标准ABC相比显著降低计算成本。

ABSTRACT

Many modern statistical applications involve inference for complicated stochastic models for which the likelihood function is difficult or even impossible to calculate, and hence conventional likelihood-based inferential echniques cannot be used. In such settings, Bayesian inference can be performed using Approximate Bayesian Computation (ABC). However, in spite of many recent developments to ABC methodology, in many applications the computational cost of ABC necessitates the choice of summary statistics and tolerances that can potentially severely bias the estimate of the posterior. We propose a new "piecewise" ABC approach suitable for discretely observed Markov models that involves writing the posterior density of the parameters as a product of factors, each a function of only a subset of the data, and then using ABC within each factor. The approach has the advantage of side-stepping the need to choose a summary statistic and it enables a stringent tolerance to be set, making the posterior "less approximate". We investigate two methods for estimating the posterior density based on ABC samples for each of the factors: the first is to use a Gaussian approximation for each factor, and the second is to use a kernel density estimate. Both methods have their merits. The Gaussian approximation is simple, fast, and probably adequate for many applications. On the other hand, using instead a kernel density estimate has the benefit of consistently estimating the true ABC posterior as the number of ABC samples tends to infinity. We illustrate the piecewise ABC approach for three examples; in each case, the approach enables "exact matching" between simulations and data and offers fast and accurate inference.

研究动机与目标

• 解决标准近似贝叶斯计算（ABC）方法在离散观测马尔可夫过程中的高计算成本和偏差问题。
• 消除对摘要统计量和容忍度选择的需求，这两者是传统ABC中主要的偏差来源。
• 通过后验分解实现小容忍度下的高精度推断，开发一种可扩展的ABC框架。
• 比较高斯近似与核密度估计在分段后验中对每个分量进行近似的效果。
• 在具有现实意义的多个随机模型上展示该方法的效率和准确性。

提出的方法

• 利用模型的马尔可夫性质，将参数的后验密度分解为仅依赖于数据子集的项的乘积。
• 对每个分量独立应用ABC，使用高斯近似或核密度估计来建模似然分量。
• 为每个分量使用先验抽样，若该分量的模拟数据在容忍度范围内与观测数据匹配，则接受该参数值。
• 将每个分量的ABC样本合并，形成联合后验近似，整体后验被估计为各分量后验的乘积。
• 对于高斯近似，使用多元正态密度来估计每个分量，其均值和协方差由ABC样本推导得出。
• 对于核密度方法，使用非参数核估计器，随着ABC样本数量的增加，可一致地近似每个分量的密度。

实验结果

研究问题

• RQ1 在马尔可夫模型中，通过后验分解是否能降低ABC的计算负担，同时保持高精度？
• RQ2 通过分段ABC消除摘要统计量，是否能提供比使用启发式摘要统计量的标准ABC更准确的后验近似？
• RQ3 在不同模型中，高斯近似与核密度估计在估计分段ABC后验方面表现如何比较？
• RQ4 在分段方法中，是否可以使用严格的容忍度而不会导致计算成本过高？
• RQ5 分段ABC方法在具有复杂似然函数的多样化随机模型中是否具有可扩展性和鲁棒性？

主要发现

• 分段ABC方法可在计算成本可控的前提下使用极小的容忍度，显著降低ABC近似误差。
• 通过避免使用摘要统计量，该方法消除了标准ABC中主要的偏差来源，从而实现更准确的后验推断。
• 对每个分量采用核密度估计的方法，随着ABC样本数量的增加，能一致地近似真实分段ABC后验。
• 高斯近似方法计算效率高，适用于许多应用场景，尤其当似然分量近似正态分布时更为合适。
• 该方法成功应用于四个不同模型——艾伦费斯特模型、生灭过程、流行病模型和随机波动率模型，每个案例均表现出快速且准确的推断。
• 在计算效率和后验准确性方面，该方法优于标准ABC，尤其在需要高精度推断时表现更优。