[论文解读] Efficient Bayesian Inference for Switching State-Space Models using Discrete Particle Markov Chain Monte Carlo Methods

Nick Whiteley, Christophe Andrieu+1 more|arXiv (Cornell University)|Nov 10, 2010

Target Tracking and Data Fusion in Sensor Networks参考文献 34被引用 54

一句话总结

本文提出了一种离散粒子马尔可夫链蒙特卡洛（PMCMC）方法，利用专门设计的离散粒子滤波器，实现切换状态空间模型（SSSMs）中高效的贝叶斯推断。通过利用潜在状态的离散特性并采用一种新型的向后抽样程序，该方法在固定计算成本下相较于最先进MCMC技术实现了更优的混合性能与收敛性，且具备并行化潜力。

ABSTRACT

Switching state-space models (SSSM) are a very popular class of time series models that have found many applications in statistics, econometrics and advanced signal processing. Bayesian inference for these models typically relies on Markov chain Monte Carlo (MCMC) techniques. However, even sophisticated MCMC methods dedicated to SSSM can prove quite inefficient as they update potentially strongly correlated discrete-valued latent variables one-at-a-time (Carter and Kohn, 1996; Gerlach et al., 2000; Giordani and Kohn, 2008). Particle Markov chain Monte Carlo (PMCMC) methods are a recently developed class of MCMC algorithms which use particle filters to build efficient proposal distributions in high-dimensions (Andrieu et al., 2010). The existing PMCMC methods of Andrieu et al. (2010) are applicable to SSSM, but are restricted to employing standard particle filtering techniques. Yet, in the context of discrete-valued latent variables, specialised particle techniques have been developed which can outperform by up to an order of magnitude standard methods (Fearnhead, 1998; Fearnhead and Clifford, 2003; Fearnhead, 2004). In this paper we develop a novel class of PMCMC methods relying on these very efficient particle algorithms. We establish the theoretical validy of this new generic methodology referred to as discrete PMCMC and demonstrate it on a variety of examples including a multiple change-points model for well-log data and a model for U.S./U.K. exchange rate data. Discrete PMCMC algorithms are shown to outperform experimentally state-of-the-art MCMC techniques for a fixed computational complexity. Additionally they can be easily parallelized (Lee et al., 2010) which allows further substantial gains.

研究动机与目标

• 解决标准MCMC方法在SSSMs中逐个更新离散潜在状态所导致的效率低下问题，从而造成混合缓慢。
• 克服在高维离散潜在轨迹上进行精确条件推断的计算不可行性。
• 利用专门的离散粒子滤波技术（如离散粒子滤波器）来提升对离散取值潜在过程的性能，优于标准粒子滤波器。
• 开发一类新型PMCMC算法——离散PMCMC，利用这些高效粒子滤波器作为MCMC中的提议机制。
• 通过向后抽样建立方法的理论有效性，并在标准MCMC假设下证明其收敛性与遍历性。

提出的方法

• 通过将离散粒子滤波器（DPF）作为提议机制，提出一种专为SSSMs设计的新型PMCMC框架。
• 采用向后抽样方法，联合目标潜在状态轨迹与离散状态序列的后验分布，从而提升混合性能。
• 构建粒子滤波器，通过在指数级增长的状态空间上使用随机剪枝机制，避免重要性采样。
• 应用条件DPF更新以生成潜在路径的提议，确保其与目标后验分布一致。
• 将基于DPF的提议整合到坍塌式吉布斯采样框架中，使潜在状态与离散状态序列得以条件更新。
• 通过证明所得马尔可夫链在温和条件下满足不可约性与非周期性，确保其理论有效性，即目标为正确的后验分布。

实验结果

研究问题

• RQ1 能否将离散粒子滤波技术有效整合到PMCMC算法中，以提升SSSMs中的采样效率？
• RQ2 在固定计算成本下，所提出的离散PMCMC方法是否在收敛速度与有效样本量方面优于标准MCMC与现有PMCMC方法？
• RQ3 离散PMCMC中的向后抽样程序是否能在高维离散状态空间中确保正确的混合性与对真实后验分布的收敛性？
• RQ4 随着数据长度的增加，离散PMCMC的性能如何变化？粒子数量$N$对精度与效率有何影响？
• RQ5 所提出方法在多大程度上可实现并行化？并行执行能带来多大性能提升？

主要发现

• 在固定计算预算下，离散PMCMC方法在有效样本量与收敛速度方面优于最先进MCMC技术。
• 当应用于离散取值潜在过程时，该方法相比基于标准粒子滤波器的PMCMC，效率最高可提升一个数量级。
• 在测井数据与汇率数据上的实证结果表明，离散PMCMC提供的后验估计更准确，且混合速度远快于逐个更新的方案。
• 向后抽样程序确保了算法正确地目标于联合后验分布，该结论已通过理论证明。
• 在标准MCMC正则性条件下，该方法被证明是不可约且非周期的，从而保证了向不变分布的收敛性。
• 该算法可高效并行化，在高维或长序列场景下可进一步提升性能。