[論文レビュー] Differentiable Particle Filtering without Modifying the Forward Pass

Adam Ścibior, Frank Wood|arXiv (Cornell University)|Jun 18, 2021

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本論文は、前向きパスの挙動を変更せずに、自動微分（AD）を用いて標準的なパーティクルフィルタを微分可能にする、シンプルで効率的な手法を提案する。リサンプリングの前にパーティクル重みにストップグラデント演算子を適用することで、ADが対数周辺尤度および事後期待値の勾配に対して一貫性があり、分散が小さい推定器を生成可能となる。これは従来、手動での導出や複雑な連続的緩和法を用いることでしか達成できなかった。

ABSTRACT

Particle filters are not compatible with automatic differentiation due to the presence of discrete resampling steps. While known estimators for the score function, based on Fisher's identity, can be computed using particle filters, up to this point they required manual implementation. In this paper we show that such estimators can be computed using automatic differentiation, after introducing a simple correction to the particle weights. This correction utilizes the stop-gradient operator and does not modify the particle filter operation on the forward pass, while also being cheap and easy to compute. Surprisingly, with the same correction automatic differentiation also produces good estimators for gradients of expectations under the posterior. We can therefore regard our method as a general recipe for making particle filters differentiable. We additionally show that it produces desired estimators for second-order derivatives and how to extend it to further reduce variance at the expense of additional computation.

研究の動機と目的

• 離散的なリサンプリングステップを含む標準的なパーティクルフィルタを、前向きパスを変更せずに自動微分可能にする。
• ADを用いて対数周辺尤度および事後期待値の勾配に対して一貫性があり、分散が小さい推定器を生成する。
• リサンプリングの連続的緩和法に代わる、シンプルで計算コストが低い代替手法を提供する。
• 高階微分および分散が小さい marginal パーティクルフィルタへの応用を可能にする。
• 同じ補正が、事後分布下の期待値に対する不偏で解釈可能な勾配推定器を提供することを示す。

提案手法

• リサンプリングの前にパーティクル重みにストップグラデント演算子を適用し、勾配がリサンプリング分布に伝播しないようにする。
• リサンプリングの前に非正規化重みにストップグラデントを適用することで、前向きパスの挙動をそのままで保つ。
• 補正済みの対数推定周辺尤度に対して自動微分を適用し、Poyiadjisら（2011）のスコア関数推定器を回復する。
• 繰り返し自動微分を用いて高階微分へ拡張し、一貫性を維持する。
• 同じ補正を marginal パーティクルフィルタに適用し、分散が小さい推定器を回復する。
• ストップグラデント式の形式的微分法を用いて、AD下での勾配推定器を導出し、検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なパーティクルフィルタは、前向きパスを変更せずに自動微分可能にできるか？
• RQ2 パーティクル重みにストップグラデントを適用することで、対数周辺尤度の勾配に対して一貫性があり、分散が小さい推定器が得られるか？
• RQ3 同じ補正により、事後分布下の期待値の勾配推定器が信頼性を持って得られるか？
• RQ4 繰り返しADを用いて高階微分へ拡張可能か？
• RQ5 分散を低減するために、marginal パーティクルフィルタへ応用可能か？

主な発見

• 手動での導出を経ずに、ADによってPoyiadjis ら（2011）のスコア関数推定器と同一の結果が得られる。
• パーティクルフィルタの前向きパスはそのままであり、元の推定器が保持される。
• 事後期待値の勾配推定器は、前向きパスの推定器が不偏であれば不偏である。
• 実験では、標準的な REINFORCE スタイル推定器よりも分散が小さい。
• 繰り返しADを用いることで、高階微分への自然な拡張が可能である。
• 複雑な連続的緩和法に比べ、シンプルさと効率性を維持しながらも、一貫性を保つ。