[论文解读] De-Sequentialized Monte Carlo: a parallel-in-time particle smoother

Adrien Corenflos, Nicolás Chopin+1 more|arXiv (Cornell University)|Feb 4, 2022

Statistical Methods and Bayesian Inference被引用 4

一句话总结

该论文提出 dSMC，一种并行时间粒子平滑算法，通过基于结合运算符和并行扫描算法的去序列化递归结构，在 T 个时间步长下实现 O(log T) 的跨度复杂度。该方法可在多核硬件上实现更快的贝叶斯平滑与参数推断，具备理论 Lp 收敛界，并通过懒惰重采样和改进的提议设计实现方差降低。

ABSTRACT

Particle smoothers are SMC (Sequential Monte Carlo) algorithms designed to approximate the joint distribution of the states given observations from a state-space model. We propose dSMC (de-Sequentialized Monte Carlo), a new particle smoother that is able to process $T$ observations in $\mathcal{O}(\log T)$ time on parallel architecture. This compares favourably with standard particle smoothers, the complexity of which is linear in $T$. We derive $\mathcal{L}_p$ convergence results for dSMC, with an explicit upper bound, polynomial in $T$. We then discuss how to reduce the variance of the smoothing estimates computed by dSMC by (i) designing good proposal distributions for sampling the particles at the initialization of the algorithm, as well as by (ii) using lazy resampling to increase the number of particles used in dSMC. Finally, we design a particle Gibbs sampler based on dSMC, which is able to perform parameter inference in a state-space model at a $\mathcal{O}(\log(T))$ cost on parallel hardware.

研究动机与目标

• 为解决顺序粒子平滑器在单核系统上随时间步长 T 线性增长的计算瓶颈问题。
• 在并行架构上实现粒子平滑的次线性跨度复杂度（O(log T)），克服标准 SMC 中固有的顺序依赖性。
• 开发一种可扩展且统计上可靠的粒子平滑器，在显著减少实际运行时间的同时保持收敛性。
• 通过将 dSMC 集成到具有对数时间复杂度的粒子吉布斯采样器中，支持高效的参数推断。
• 通过改进的提议分布和一种新颖的懒惰重采样策略，降低平滑估计的方差。

提出的方法

• dSMC 使用结合运算符重新表述顺序粒子平滑递归，以通过并行扫描（前缀和）算法实现并行化。
• 该方法通过将时间步长分组为二叉树结构，在时间上构建去序列化递归，使并行硬件上的计算深度达到 O(log T)。
• 采用条件版本的 dSMC 以支持无偏耦合和用于参数推断的粒子吉布斯采样。
• 引入一种懒惰重采样方案，通过按需计算权重并仅对活跃粒子对进行计算，从而减少内存和计算负载。
• 提议分布通过 LGSSM（线性高斯状态空间模型）近似器设计，以提高粒子多样性并减少方差。
• 该算法利用 Murray 等人（2016）提出的并行重采样框架，进一步提升可扩展性并减少内存占用。

实验结果

研究问题

• RQ1 粒子平滑能否在时间上实现并行化，以在多核系统上实现 O(log T) 的跨度复杂度，同时保持统计准确性？
• RQ2 如何利用结合运算符和递归分解打破 SMC 平滑器中固有的顺序依赖性？
• RQ3 所提出的 dSMC 算法的理论收敛速率是多少？其在 Lp 范数下的界是否显式依赖于 T？
• RQ4 如何在不增加计算成本的前提下降低平滑估计的方差，特别是在高维或多重模式后验分布中？
• RQ5 dSMC 能否有效集成到粒子吉布斯采样器中，以实现具有对数时间复杂度的快速无偏参数推断？

主要发现

• dSMC 实现了 O(log T) 的跨度复杂度用于平滑，相较于标准顺序平滑器随 T 线性增长的性能，实现了显著提速。
• 该算法提供了显式的 Lp 收敛界，其随 T 多项式增长，确保了在 T 增大时的理论一致性。
• 懒惰重采样通过避免完整权重重新计算，显著降低了内存使用和计算开销，提升了高维场景下的可扩展性。
• 使用 LGSSM 近似器作为提议分布显著提升了粒子多样性，并降低了平滑估计的方差。
• dSMC 实现了具有 O(log T) 实际运行时间复杂度的粒子吉布斯采样器，使其在状态空间模型中的贝叶斯参数推断中极为高效。
• 该方法与 Jacob 等人（2019）提出的无偏耦合平滑框架兼容，可通过独立估计的平均化实现方差降低。