[论文解读] Differentiable Particle Filtering via Entropy-Regularized Optimal Transport

Adrien Corenflos, Jim Thornton+2 more|arXiv (Cornell University)|Feb 15, 2021

Gaussian Processes and Bayesian Inference被引用 13

一句话总结

本文提出一种基于熵正则化最优传输的可微分粒子滤波器，以克服传统粒子滤波中重采样步骤的不可微性问题。通过用基于传输的可微分过程替代标准重采样，该方法实现了状态空间模型的端到端训练，结合基于梯度的优化，显著降低了方差并提升了变分推断与最大似然估计设置下的收敛性。

ABSTRACT

Particle Filtering (PF) methods are an established class of procedures for performing inference in non-linear state-space models. Resampling is a key ingredient of PF, necessary to obtain low variance likelihood and states estimates. However, traditional resampling methods result in PF-based loss functions being non-differentiable with respect to model and PF parameters. In a variational inference context, resampling also yields high variance gradient estimates of the PF-based evidence lower bound. By leveraging optimal transport ideas, we introduce a principled differentiable particle filter and provide convergence results. We demonstrate this novel method on a variety of applications.

研究动机与目标

• 为解决粒子滤波中重采样不可微性问题，该问题阻碍了状态空间模型的端到端训练。
• 开发一种原理严谨的可微分替代方案，以取代传统重采样，同时保持粒子滤波的统计一致性。
• 在非线性、非高斯状态空间模型中，实现变分推断与最大似然估计的有效基于梯度的优化。
• 在证据下界（ELBO）最大化与似然估计方面，相比标准粒子滤波与随机最大似然估计，展示出性能提升。

提出的方法

• 提出一种基于熵正则化最优传输的可微分重采样机制，将加权粒子映射为一组权重均匀的新粒子。
• 用最小化经验测度之间正则化Wasserstein距离的传输映射替代多项式重采样。
• 使用Sinkhorn算法高效计算最优传输计划，实现通过反向传播的可微分重采样。
• 将可微分重采样集成到标准粒子滤波框架中，保持统计一致性，并支持整个滤波过程的梯度计算。
• 将该方法应用于变分推断与最大似然估计，分别采用ELBO与SMLE目标函数。
• 采用重参数化技巧实现粒子的可微分采样，确保滤波过程的完全可微性。

实验结果

研究问题

• RQ1 能否利用最优传输构建粒子滤波中保持统计一致性的可微分重采样步骤？
• RQ2 与标准粒子滤波相比，所提出的可微分粒子滤波器在变分推断中是否能获得更低方差的梯度估计？
• RQ3 该方法是否能提升非线性状态空间模型在最大似然估计中的收敛性与估计精度？
• RQ4 在RMSE与ELBO最大化方面，可微分粒子滤波器相较于标准粒子滤波与随机最大似然估计的性能如何？

主要发现

• 可微分粒子滤波器（DPF）在RMSE方面显著优于标准粒子滤波与随机MLE，当B从1增至4时，RMSE由1.94降至1.30。
• 基于DPF的ELBO最大化优于标准PF与SMLE，当B=10时RMSE稳定在1.37，表明收敛性更优。
• 该方法实现了复杂模型（如变分RNN与机器人定位系统）的端到端训练，通过可微分重采样实现稳定优化。
• 熵正则化最优传输的使用确保了可微性，同时保持梯度估计的低方差，支持可靠优化。
• 实证结果表明，随着样本数B增加，基于DPF的ELBO估计趋近真实ELBO，验证了其一致性。
• 在VRNN与机器人定位任务中，DPF在测试集上表现更优，证明其在多样化序列建模应用中的鲁棒性。