[论文解读] Differentiable Particle Filtering without Modifying the Forward Pass

Adam Ścibior, Frank Wood|arXiv (Cornell University)|Jun 18, 2021

Model Reduction and Neural Networks被引用 8

一句话总结

本文提出了一种简单且高效的方法，通过自动微分（AD）使标准粒子滤波器可微，而无需改变其前向传播行为。通过在重采样前对粒子权重应用停止梯度操作，该方法使AD能够生成一致且方差较低的对数边际似然和后验期望梯度估计器——此前仅能通过手工推导或复杂的连续松弛方法实现。

ABSTRACT

Particle filters are not compatible with automatic differentiation due to the presence of discrete resampling steps. While known estimators for the score function, based on Fisher's identity, can be computed using particle filters, up to this point they required manual implementation. In this paper we show that such estimators can be computed using automatic differentiation, after introducing a simple correction to the particle weights. This correction utilizes the stop-gradient operator and does not modify the particle filter operation on the forward pass, while also being cheap and easy to compute. Surprisingly, with the same correction automatic differentiation also produces good estimators for gradients of expectations under the posterior. We can therefore regard our method as a general recipe for making particle filters differentiable. We additionally show that it produces desired estimators for second-order derivatives and how to extend it to further reduce variance at the expense of additional computation.

研究动机与目标

• 使标准粒子滤波器在存在离散重采样步骤的情况下仍能实现自动微分。
• 利用AD生成一致且方差较低的对数边际似然和后验期望梯度估计器。
• 提供一种简单且计算成本低廉的替代方案，以取代复杂的重采样连续松弛方法。
• 将该方法扩展至高阶导数，并在边际粒子滤波中实现更低方差。
• 证明相同的修正方法可为后验下的期望提供无偏且可解释的梯度估计器。

提出的方法

• 在重采样前对粒子权重应用停止梯度操作，阻止梯度流入重采样分布。
• 在重采样前对未归一化的权重应用停止梯度，确保前向传播保持不变。
• 对修正后的对数估计边际似然使用自动微分，恢复Poyiadjis等人（2011）提出的得分函数估计器。
• 通过重复自动微分将该方法扩展至高阶导数，同时保持一致性。
• 将相同修正应用于边际粒子滤波，恢复更低方差的估计器。
• 使用停止梯度表达式的正式微分法则，推导并验证AD下的梯度估计器。

实验结果

研究问题

• RQ1 能否在不修改其前向传播行为的前提下，通过自动微分使标准粒子滤波器可微？
• RQ2 对粒子权重应用停止梯度是否能产生一致且方差较低的对数边际似然梯度估计器？
• RQ3 相同的修正是否能生成后验下期望的可靠梯度估计器？
• RQ4 该方法是否可通过重复AD扩展至高阶导数？
• RQ5 能否将其应用于边际粒子滤波以降低方差？

主要发现

• 该方法通过自动微分生成与Poyiadjis等人（2011）相同的得分函数估计器，无需手工推导。
• 粒子滤波器的前向传播保持不变，原始估计器得以保留。
• 若前向传播估计器无偏，则后验期望的梯度估计器亦为无偏。
• 实验结果表明，该方法的方差低于标准REINFORCE风格的估计器。
• 该方法可通过重复AD自然扩展至高阶导数。
• 与复杂的连续松弛方法相比，该方法在简洁性和效率方面表现更优，同时保持一致性。