[论文解读] Iterated Block Particle Filter for High-dimensional Parameter Learning: Beating the Curse of Dimensionality

Ning Ning, Edward L. Ionides|arXiv (Cornell University)|Oct 20, 2021

Bayesian Methods and Mixture Models参考文献 38被引用 11

一句话总结

本文提出了一种新型算法——迭代块粒子滤波（IBPF），用于非线性、非高斯、部分观测的随机过程中的高维参数学习。通过在粒子滤波框架内结合分块重采样与迭代滤波，IBPF有效缓解了维度灾难问题，在麻疹传播模型中相较于现有方法（如迭代集合卡尔曼滤波和标准迭代滤波）展现出更优的收敛性与似然度最大化性能。

ABSTRACT

Parameter learning for high-dimensional, partially observed, and nonlinear stochastic processes is a methodological challenge. Spatiotemporal disease transmission systems provide examples of such processes giving rise to open inference problems. We propose the iterated block particle filter (IBPF) algorithm for learning high-dimensional parameters over graphical state space models with general state spaces, measures, transition densities and graph structure. Theoretical performance guarantees are obtained on beating the curse of dimensionality (COD), algorithm convergence, and likelihood maximization. Experiments on a highly nonlinear and non-Gaussian spatiotemporal model for measles transmission reveal that the iterated ensemble Kalman filter algorithm (Li et al. (2020)) is ineffective and the iterated filtering algorithm (Ionides et al. (2015)) suffers from the COD, while our IBPF algorithm beats COD consistently across various experiments with different metrics.

研究动机与目标

• 解决部分观测、非线性且非高斯的随机过程中高维参数推断的挑战。
• 克服传统粒子滤波与迭代滤波方法所受维度灾难（COD）的影响。
• 为具有通用状态空间与任意图结构的图形状态空间模型，开发一种可扩展且理论基础坚实的算法。
• 在复杂时空系统（如疾病传播模型）中实现更优的收敛性与似然度最大化。

提出的方法

• IBPF算法将高维参数空间划分为多个块，以实现局部重采样并减少粒子退化。
• 通过依次使用粒子滤波估计更新参数块，应用迭代滤波方法，从而在迭代过程中逐步改善后验分布近似。
• 该方法基于顺序蒙特卡洛原理，采用分块重采样策略，以在高维设置中保持粒子多样性并降低方差。
• 支持通用状态空间、任意转移密度与灵活的图结构，使其适用于复杂的时空模型。
• 推导了算法收敛性、似然度最大化以及克服维度灾难的理论保证。
• 通过在块之间解耦参数更新，该算法被设计为计算高效且可扩展至高维系统。

实验结果

研究问题

• RQ1 粒子滤波方法是否能有效缓解非线性与非高斯模型中高维参数学习的维度灾难问题？
• RQ2 在高维、非高斯设置下，IBPF相较于迭代集合卡尔曼滤波与标准迭代滤波的性能如何？
• RQ3 分块重采样在复杂图形状态空间模型中，能在多大程度上提升收敛性与似然估计性能？
• RQ4 IBPF算法是否在各类时空模型结构与不同参数维度下保持理论一致性与可扩展性？
• RQ5 IBPF能否在高维、部分观测的现实系统（如麻疹传播）中实现可靠的推断？

主要发现

• 在麻疹传播模型中，迭代集合卡尔曼滤波因强非线性和非高斯性而无法收敛。
• 标准迭代滤波受维度灾难影响，随着参数维度增加，性能持续下降。
• IBPF在包括对数似然与参数恢复精度在内的多个指标上，始终优于两种基线方法。
• 理论分析证实，IBPF能够有效克服维度灾难，具备收敛性与似然度最大化保证。
• 实证结果表明，IBPF即使在高维复杂系统中，也能保持稳定的粒子多样性与精确的后验估计。
• 与全参数重采样相比，分块重采样策略显著提升了粒子效率并减少了退化现象。