[论文解读] MCMC for non-Linear State Space Models Using Ensembles of Latent Sequences

Alexander Y. Shestopaloff|arXiv (Cornell University)|Jan 1, 2014

Markov Chains and Monte Carlo Methods参考文献 7被引用 10

一句话总结

该论文通过利用一组潜在序列而非单一序列，提出了一种高效的马尔可夫链蒙特卡洛（MCMC）方法，用于非线性状态空间模型的贝叶斯推断，显著提升了采样效率。该方法结合尼尔（Neal）的集合技术与嵌入式隐马尔可夫模型（HMM），在Ricker种群动力学模型中，相比单序列方法，采样效率提高了1.9至12.0倍，采用部分反向传播后效率最高可达20.4倍。

ABSTRACT

Non-linear state space models are a widely-used class of models for biological, economic, and physical processes. Fitting these models to observed data is a difficult inference problem that has no straightforward solution. We take a Bayesian approach to the inference of unknown parameters of a non-linear state model; this, in turn, requires the availability of efficient Markov Chain Monte Carlo (MCMC) sampling methods for the latent (hidden) variables and model parameters. Using the ensemble technique of Neal (2010) and the embedded HMM technique of Neal (2003), we introduce a new Markov Chain Monte Carlo method for non-linear state space models. The key idea is to perform parameter updates conditional on an enormously large ensemble of latent sequences, as opposed to a single sequence, as with existing methods. We look at the performance of this ensemble method when doing Bayesian inference in the Ricker model of population dynamics. We show that for this problem, the ensemble method is vastly more efficient than a simple Metropolis method, as well as 1.9 to 12.0 times more efficient than a single-sequence embedded HMM method, when all methods are tuned appropriately. We also introduce a way of speeding up the ensemble method by performing partial backward passes to discard poor proposals at low computational cost, resulting in a final efficiency gain of 3.4 to 20.4 times over the single-sequence method. This research has been done jointly with Radford M. Neal.

研究动机与目标

• 为解决非线性状态空间模型中的贝叶斯推断挑战，此类模型因潜在变量之间的复杂依赖关系而缺乏直接解法。
• 通过超越单序列采样，采用基于集合的更新方式，提升潜在变量与模型参数的MCMC采样效率。
• 通过引入部分反向传播机制，早期剔除低质量提议，以较低成本减少不必要的计算，从而提升计算性能。
• 在真实世界的非线性系统——具体为种群动力学的Ricker模型上，评估该方法的性能。
• 证明基于集合的MCMC方法在单位计算时间内有效样本量方面，优于标准Metropolis方法与单序列嵌入式HMM方法。

提出的方法

• 该方法采用尼尔（Neal）的集合技术，在MCMC采样过程中维持大量潜在序列，从而实现更稳健的参数更新。
• 结合尼尔（2003）提出的嵌入式HMM框架，高效计算非线性模型中潜在状态之间的转移概率。
• 参数更新基于整个潜在序列集合进行条件计算，提升了提议质量并减少了随机游走行为。
• 引入部分反向传播机制，用于早期评估并剔除低质量提议，从而降低计算开销。
• 算法经过调优，以在提议接受率与计算成本之间取得平衡，从而优化单位时间内的有效样本量。
• 该方法应用于Ricker模型，即一个具有已知推断挑战的非线性种群动力学模型。

实验结果

研究问题

• RQ1 与单个潜在序列相比，使用潜在序列集合是否能显著提升非线性状态空间模型中的MCMC采样效率？
• RQ2 在参数充分调优的情况下，所提出的集合MCMC方法与标准Metropolis方法及单序列嵌入式HMM方法相比，效率如何？
• RQ3 部分反向传播在多大程度上能降低计算成本而不损害采样质量？
• RQ4 在Ricker模型这类具有强状态依赖动力学的复杂非线性系统中，该集合方法是否能保持或改善混合与收敛特性？
• RQ5 与现有单序列方法相比，该方法可实现的最大效率增益是多少？

主要发现

• 在Ricker模型中，与调优后的单序列嵌入式HMM方法相比，集合MCMC方法的采样效率提高了1.9至12.0倍。
• 与标准Metropolis方法相比，该集合方法效率显著更高，主要得益于潜在序列集合带来的更优提议质量。
• 采用部分反向传播有效降低了计算成本并提升了效率，最终相比单序列方法，效率提升达3.4至20.4倍。
• 该方法在Ricker模型中表现出更优的混合与收敛特性，该模型是非线性系统且具有强状态依赖动力学。
• 即使在高维潜在状态空间中，该基于集合的方法仍能保持较高的单位时间有效样本量。
• 结果证实，利用多个潜在序列能显著提升复杂非线性状态空间模型中MCMC的性能。