[论文解读] Approximate Bayesian Computation for Smoothing

James S. Martin, Ajay Jasra+3 more|arXiv (Cornell University)|Jun 22, 2012

Markov Chains and Monte Carlo Methods参考文献 14被引用 4

一句话总结

该论文提出了一种用于隐马尔可夫模型（HMMs）平滑的近似贝叶斯计算（ABC）框架，通过在观测空间中引入辅助变量，避免了对观测密度 $ g(x,y) $ 的计算。该方法在近似平滑期望时实现了 $ \mathcal{O}(n\epsilon) $ 的误差，对ABC和序贯蒙特卡洛（SMC）近似误差提供了理论控制，从而实现了对似然函数不可计算模型的合理推断。

ABSTRACT

We consider a method for approximate inference in hidden Markov models (HMMs). The method circumvents the need to evaluate conditional densities of observations given the hidden states. It may be considered an instance of Approximate Bayesian Computation (ABC) and it involves the introduction of auxiliary variables valued in the same space as the observations. The quality of the approximation may be controlled to arbitrary precision through a parameter ε>0 . We provide theoretical results which quantify, in terms of ε, the ABC error in approximation of expectations of additive functionals with respect to the smoothing distributions. Under regularity assumptions, this error is O(nε), where n is the number of time steps over which smoothing is performed. For numerical implementation we adopt the forward-only sequential Monte Carlo (SMC) scheme of [16] and quantify the combined error from the ABC and SMC approximations. This forms some of the first quantitative results for ABC methods which jointly treat the ABC and simulation errors, with a finite number of data and simulated samples. When the HMM has unknown static parameters, we consider particle Markov chain Monte Carlo [2] (PMCMC) methods for batch statistical inference.

研究动机与目标

• 开发一种用于HMM平滑的合理ABC方法，避免对通常难以计算或计算成本高昂的观测密度 $ g(x,y) $ 进行评估。
• 量化ABC近似与序贯蒙特卡洛（SMC）模拟带来的联合误差，为两个分量提供理论控制。
• 利用粒子马尔可夫链蒙特卡洛（PMCMC）方法，实现对具有未知静态参数的HMM的批量推断。
• 建立ABC误差在平滑期望上的理论界，表明其相对于ABC容差 $ \epsilon $ 的收敛速度为 $ \mathcal{O}(n\epsilon) $。
• 将该框架扩展至静态参数与潜变量的联合推断，支持似然函数不可计算的状态空间模型的应用。

提出的方法

• 引入一个带有辅助变量 $ \tilde{Y}_n $ 的辅助HMM，其从真实观测 $ y_n $ 的 $ \epsilon $-邻域中抽取，从而实现无需似然的平滑。
• 采用仅向前的序贯蒙特卡洛（SMC）方案来近似ABC平滑分布，避免直接计算 $ g(x_n, y_n) $。
• 通过后向核 $ M_{q,\hat{\eta}_{q-1}} $ 和 $ M_{q,\hat{\eta}_{q-1,\epsilon},\epsilon} $ 的后向表示，将ABC误差分解为可伸缩的和。
• 应用可伸缩和分解方法，通过后向核的总变差和遍历性性质，界定真实平滑器与ABC平滑器之间的差异。
• 利用文献[22]中的定理2和引理B.1，界定后向核的差异，证明 $ \|M_{k+1,\hat{\eta}_{k,\epsilon},\epsilon} - M_{k+1,\hat{\eta}_k}\|_{TV} \leq C\epsilon $，其中 $ C < \infty $。
• 通过分析ABC与真实滤波器之间的总变差距离，实现ABC与SMC误差的联合控制，最终得到平滑期望中 $ \mathcal{O}(n\epsilon) $ 的总体误差。

实验结果

研究问题

• RQ1 当观测密度 $ g(x,y) $ 不可计算时，HMM中ABC平滑的理论误差界是什么？
• RQ2 ABC近似误差在平滑期望中的尺度如何随容差 $ \epsilon $ 和时间步数 $ n $ 变化？
• RQ3 对于有限数据和有限样本，ABC与SMC近似带来的联合误差能否以合理方式量化？
• RQ4 ABC平滑如何扩展至HMM中静态参数与潜变量的联合推断？
• RQ5 在什么条件下ABC误差会随着 $ \epsilon \to 0 $ 而消失，其收敛速度如何？

主要发现

• 近似平滑期望的ABC误差为 $ \mathcal{O}(n\epsilon) $，其中 $ n $ 为时间步数，$ \epsilon > 0 $ 控制近似容差。
• 该误差界在 $ n $、$ y_{0:n} $ 和 $ \epsilon $ 上一致，常数 $ C < \infty $ 与这些量无关。
• ABC与真实后向核之间的差异被限制在 $ C\epsilon $ 以内，确保当 $ \epsilon \to 0 $ 时ABC近似趋于精确。
• ABC与SMC近似带来的联合误差得到了量化，构成了针对有限数据和有限样本的ABC方法的首批理论结果之一。
• 该方法实现了在观测密度难以计算或成本高昂的HMM中进行无似然平滑与推断，采用仅向前的SMC和PMCMC方法。
• 在正则性假设下建立了理论结果，包括存在统一常数 $ C < \infty $ 和几何遍历性 $ \xi \in (0,1) $，确保误差贡献呈指数衰减。