[论文解读] Efficiently Combining Pseudo Marginal and Particle Gibbs Sampling

David Gunawan, Chris Carter+1 more|arXiv (Cornell University)|Apr 12, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用 4

一句话总结

本文提出了一种新颖的粒子MCMC采样器，结合了相关伪边际采样与粒子吉布斯采样，以提升非线性、非高斯状态空间模型中贝叶斯推断的效率。通过利用相关参数更新与基于粒子的状态估计，该方法在混合性和收敛性方面优于独立的伪边际或粒子吉布斯方法，如在具有杠杆效应的多变量因子随机波动率模型上的实验所示。

ABSTRACT

Particle Markov Chain Monte Carlo methods are used to carry out inference in non-linear and non-Gaussian state space models, where the posterior density of the states is approximated using particles. Deligiannidis (2017) introduce the correlated pseudo marginal sampler and show that it can be much more efficient than the standard pseudo marginal approach. Mendes (2018) propose a particle MCMC sampler that generates parameters that are highly correlated with the states using a pseudo marginal method that integrates out the states, while all other parameters are generated using particle Gibbs. Our article shows how to combine these two approaches to particle MCMC to obtain a flexible sampler with a superior performance to each of these two approaches. We illustrate the new sampler using a multivariate factor stochastic volatility model with leverage.

研究动机与目标

• 解决标准伪边际MCMC方法在高维、非线性状态空间模型中效率低下的问题。
• 通过将相关参数更新与基于粒子的状态推断相结合，改善混合性与收敛性。
• 开发一种灵活、统一的采样框架，其性能优于现有粒子MCMC方法。
• 在具有挑战性的多变量随机波动率模型（含杠杆效应）上展示该方法的有效性。

提出的方法

• 该方法结合了相关伪边际采样器（Deligiannidis, 2017）与粒子吉布斯采样，以生成高度相关的参数与状态更新。
• 采用伪边际方法在更新参数时对状态进行积分，从而降低似然估计的方差。
• 在状态空间更新中，采用粒子吉布斯方法基于当前参数值条件性重采样轨迹。
• 联合使用相关参数提议与基于粒子的状态估计，可提升混合性并减少随机游走行为。
• 通过适当的提议与接受机制，该算法保持细致平衡，确保有效的贝叶斯推断。

实验结果

研究问题

• RQ1 将相关伪边际采样与粒子吉布斯采样结合，能否提升非线性、非高斯状态空间模型中粒子MCMC的混合性？
• RQ2 该混合采样器在性能上与独立的粒子吉布斯和伪边际方法相比如何？
• RQ3 该方法在提升收敛性与效率的同时，是否保持计算上的可行性？
• RQ4 在多变量随机波动率模型中，参数与状态的相关性对采样效率有何影响？

主要发现

• 与标准粒子吉布斯和伪边际方法相比，该混合采样器显著提升了混合效率。
• 由于采用了相关参数更新，该方法实现了更快的收敛速度，并降低了马尔可夫链样本的自相关性。
• 在具有杠杆效应的多变量因子随机波动率模型上的实证结果表明，该方法在有效样本量与计算成本方面均表现出更优性能。
• 通过伪边际技术实现的状态边际化，增强了参数估计的稳定性。