[论文解读] Auxiliary Particle filtering within adaptive Metropolis-Hastings Sampling

M. Pitt, Ralph S. Silva+2 more|arXiv (Cornell University)|Jun 9, 2010

Bayesian Methods and Mixture Models参考文献 36被引用 27

一句话总结

本文提出一种自适应独立Metropolis-Hastings采样器，结合完全自适应的辅助粒子滤波，以提升状态空间模型中的贝叶斯推断效率。通过使用正态分布混合提议分布和降噪粒子滤波，该方法实现了显著更高的效率——相比标准方法快至四倍——同时确保模拟似然无偏，并支持高效的边缘似然估计，便于模型比较。

ABSTRACT

Our article deals with Bayesian inference for a general state space model with the simulated likelihood computed by the particle filter. We show empirically that the partially or fully adapted particle filters can be much more efficient than the standard particle, especially when the signal to noise ratio is high. This is especially important because using the particle filter within MCMC sampling is O(T^2), where T is the sample size. We also show that an adaptive independent proposal for the unknown parameters based on a mixture of normals can be much more efficient than the usual optimal random walk methods because the simulated likelihood is not continuous in the parameters and the cost of constructing a good adaptive proposal is negligible compared to the cost of evaluating the simulated likelihood. Independent \MH proposals are also attractive because they are easy to run in parallel on multiple processors. The article also shows that the proposed \aimh sampler converges to the posterior distribution. We also show that the marginal likelihood of any state space model can be obtained in an efficient and unbiased manner by using the \pf making model comparison straightforward. Obtaining the marginal likelihood is often difficult using other methods. Finally, we prove that the simulated likelihood obtained by the auxiliary particle filter is unbiased. This result is fundamental to using the particle for MCMC sampling and is first obtained in a more abstract and difficult setting by Del Moral (2004). However, our proof is direct and will make the result accessible to readers.

研究动机与目标

• 开发一种更高效的马尔可夫链蒙特卡洛（MCMC）方法，用于非线性、非高斯状态空间模型中的贝叶斯推断。
• 解决MCMC中粒子滤波带来的高计算成本问题，其计算复杂度随样本量T呈O(T²)增长。
• 通过基于正态分布混合的自适应独立Metropolis-Hastings提议，提升采样效率，尤其适用于似然函数在参数上不连续的情形。
• 利用粒子滤波与桥接抽样，实现边缘似然的精确且无偏估计，支持模型比较。
• 证明辅助粒子滤波模拟似然的无偏性，从而支持其在MCMC中的应用。

提出的方法

• 使用自适应独立Metropolis-Hastings采样器，通过历史MCMC抽样结果更新多变量正态分布混合的后验分布。
• 采用完全或部分自适应的辅助粒子滤波（APF），以降低模拟似然中的噪声，尤其在信噪比较高时效果显著。
• 结合粒子滤波与桥接抽样或重要性抽样，高效且无偏地计算边缘似然，用于模型比较。
• 将模拟似然作为MCMC的目标密度，依赖APF模拟似然的无偏性证明，确保后验推断的有效性。
• 采用顺序更新机制对自适应提议分布进行更新，MCMC采样过程中定期进行。
• 实现独立Metropolis-Hastings步骤的并行化，以减少实际运行时间，充分利用多核计算能力。

实验结果

研究问题

• RQ1 在似然函数对参数不连续的状态空间模型中，基于正态分布混合提议的自适应独立Metropolis-Hastings采样是否优于标准自适应随机游走M-H？
• RQ2 完全自适应的辅助粒子滤波是否显著降低了模拟似然的方差，相比标准粒子滤波？
• RQ3 能否利用粒子滤波与桥接抽样，高效且无偏地估计状态空间模型的边缘似然？
• RQ4 辅助粒子滤波的模拟似然是否无偏？该无偏性是否支持有效的MCMC推断？
• RQ5 与标准方法相比，结合自适应独立M-H与完全自适应APF的计算效率提升程度如何？

主要发现

• 即使使用10,000个粒子，基于正态分布混合提议的自适应独立Metropolis-Hastings采样器，其效率最高可达标准自适应随机游走M-H采样器的四倍。
• 完全自适应的辅助粒子滤波将模拟对数似然的标准差从标准滤波器使用10,000个粒子时的0.51降低至使用1,000个粒子时的0.31。
• 使用500个粒子时，完全自适应APF的模拟对数似然标准差（0.43）低于标准滤波器使用10,000个粒子时的0.51。
• 在使用完全自适应APF时，自适应独立M-H采样器的接受率更高（34.44%），无效性更低（6.61），而自适应随机游走M-H的接受率为13.25%，无效性为40.47。
• 辅助粒子滤波的模拟似然被严格证明为无偏，支持其在MCMC中使用而不引入后验推断偏差。
• 边缘似然被高效且无偏地估计，使得在不同状态空间模型之间进行直接模型比较成为可能。