[论文解读] Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors

Rico Jonschkowski, Divyam Rastogi+1 more|arXiv (Cornell University)|May 28, 2018

Hydrological Forecasting Using AI被引用 4

一句话总结

本文提出可微分粒子滤波器（DPFs），一种可微分、端到端可训练的粒子滤波算法实现，其运动模型与测量模型均可学习。通过将递归贝叶斯推理结构编码为算法先验，DPFs 在误差率上比 LSTMs 降低约 80%，并展现出更优的泛化能力，同时通过利用粒子滤波固有的概率框架，保持了可解释性与数据效率。

ABSTRACT

We present differentiable particle filters (DPFs): a differentiable implementation of the particle filter algorithm with learnable motion and measurement models. Since DPFs are end-to-end differentiable, we can efficiently train their models by optimizing end-to-end state estimation performance, rather than proxy objectives such as model accuracy. DPFs encode the structure of recursive state estimation with prediction and measurement update that operate on a probability distribution over states. This structure represents an algorithmic prior that improves learning performance in state estimation problems while enabling explainability of the learned model. Our experiments on simulated and real data show substantial benefits from end-to- end learning with algorithmic priors, e.g. reducing error rates by ~80%. Our experiments also show that, unlike long short-term memory networks, DPFs learn localization in a policy-agnostic way and thus greatly improve generalization. Source code is available at https://github.com/tu-rbo/differentiable-particle-filters .

研究动机与目标

• 解决机器人状态估计中端到端学习存在的数据效率低下与泛化能力差的问题。
• 将算法先验——特别是粒子滤波结构——整合到可微分神经网络中，以提升性能与可解释性。
• 通过反向传播通过粒子滤波算法，实现运动模型与测量模型的端到端训练。
• 证明与通用 RNN（如 LSTMs）相比，算法先验可提升数据效率与对策略变化的鲁棒性。
• 在 KITTI 数据集上的模拟与真实世界视觉里程计任务中验证该方法。

提出的方法

• DPFs 以可微分形式实现标准粒子滤波算法，支持在预测与测量更新步骤中进行反向传播。
• 运动模型被参数化为可微函数，用于随时间演化粒子，其可学习参数通过梯度下降法优化。
• 测量模型基于观测似然计算粒子权重，使用可微观测编码器与可学习似然估计器。
• 整个系统通过最大似然估计在状态估计性能上进行端到端训练，而非代理目标。
• 通过 Gumbel-Softmax 松弛方法实现可微分重采样，使梯度可流经重采样操作。
• 方法采用一阶动力学模型与可学习动作采样器生成运动噪声，视觉里程计任务中初始状态已知。

实验结果

研究问题

• RQ1 与仅针对准确性训练模型相比，端到端训练粒子滤波模型是否能提升状态估计性能？
• RQ2 将粒子滤波的递归贝叶斯结构编码为算法先验，是否能提升机器人状态估计中的数据效率与泛化能力？
• RQ3 在真实世界视觉里程计任务中，DPF 与 LSTMs 及其他可微分滤波器（如 Backprop Kalman Filter）相比表现如何？
• RQ4 通过端到端优化，DPFs 是否能学会高估不确定性——这是滤波中已知的启发式方法？
• RQ5 算法先验是否能实现与策略无关的泛化，使模型在未见过的控制策略下仍能正常工作？

主要发现

• 在定位任务中，DPFs 相较于长短期记忆网络（LSTM）将误差率降低了约 80%。
• DPFs 达到相同误差率仅需 LSTMs 所需 13% 的训练数据，表明其具有显著更优的数据效率。
• DPFs 对新控制策略具有稳健的泛化能力，而 LSTMs 在测试时若控制策略与训练时不同则会失效。
• 在 KITTI 视觉里程计基准测试中，DPFs 在短序列（100 步）中将平移误差降低约 30%，相比 Backprop Kalman Filter（BKF）。
• DPF 能够表示长尾分布，这可能是其性能优于基于高斯分布的滤波器（如 BKF）的原因。
• 通过 DPF 的端到端训练，自然恢复了高估不确定性能提升滤波性能的启发式方法，验证了该方法与既定机器人原理的一致性。