[論文レビュー] Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors

Rico Jonschkowski, Divyam Rastogi+1 more|arXiv (Cornell University)|May 28, 2018

Hydrological Forecasting Using AI被引用数 4

ひとこと要約

本稿では、学習可能な運動モデルおよび測定モデルを備えた、微分可能でエンド・トゥ・エンドで学習可能なパーティクルフィルタアルゴリズムである微分可能パーティクルフィルタ（DPF）を紹介する。再帰的ベイズ推論構造をアルゴリズム的事前分布としてエンコードすることにより、DPFはLSTMと比較して80％の誤差率低減と優れた一般化性能を達成するが、パーティクルフィルタの固有の確率的フレームワークを活用することで、解釈可能でデータ効率的である。

ABSTRACT

We present differentiable particle filters (DPFs): a differentiable implementation of the particle filter algorithm with learnable motion and measurement models. Since DPFs are end-to-end differentiable, we can efficiently train their models by optimizing end-to-end state estimation performance, rather than proxy objectives such as model accuracy. DPFs encode the structure of recursive state estimation with prediction and measurement update that operate on a probability distribution over states. This structure represents an algorithmic prior that improves learning performance in state estimation problems while enabling explainability of the learned model. Our experiments on simulated and real data show substantial benefits from end-to- end learning with algorithmic priors, e.g. reducing error rates by ~80%. Our experiments also show that, unlike long short-term memory networks, DPFs learn localization in a policy-agnostic way and thus greatly improve generalization. Source code is available at https://github.com/tu-rbo/differentiable-particle-filters .

研究の動機と目的

• ロボットの状態推定におけるエンド・トゥ・エンド学習のデータ非効率性と一般化性能の低さという課題に対処すること。
• 特にパーティクルフィルタ構造というアルゴリズム的事前分布を、微分可能なニューラルネットワークに統合することで、性能と説明可能性を向上させること。
• バックプロパゲーションをパーティクルフィルタアルゴリズム全体に適用することで、運動モデルおよび測定モデルのエンド・トゥ・エンド学習を可能にすること。
• 一般的なRNN（LSTMなど）と比較して、アルゴリズム的事前分布がデータ効率性およびポリシー変更に対するロバスト性を向上させることを示すこと。
• KITTIデータセットを用いたシミュレーテッドおよび実世界のビジョウドメトリ（視覚オドメトリ）タスクにおいて、本手法の有効性を検証すること。

提案手法

• DPFは、標準的なパーティクルフィルタアルゴリズムを微分可能形で実装し、予測ステップおよび測定更新ステップにおけるバックプロパゲーションを可能にしている。
• 運動モデルは、時間的にパーティクルを進める微分可能な関数としてパrameter化されており、勾配降下法で最適化可能な学習可能なパラメータを有する。
• 測定モデルは、観測尤度に基づいてパーティクルの重みを計算し、微分可能な観測エンコーダーと学習可能な尤度推定器を用いている。
• システム全体は、代理目的関数ではなく、状態推定性能の最尤推定に基づいてエンド・トゥ・エンドで学習されている。
• パーティクルリサンプリングは、Gumbel-Softmax緩和を用いて微分可能であり、リサンプリング操作を通過する勾配伝播を可能にしている。
• 本手法は1次元の運動モデルと学習可能なアクションサンプラーを用いて運動ノイズを生成しており、ビジョウドメトリでは初期状態が既知である。

実験結果

リサーチクエスチョン

• RQ1 モデルの精度を最適化するのではなく、パーティクルフィルタモデルのエンド・トゥ・エンド学習が、状態推定性能を向上させられるか？
• RQ2 パーティクルフィルタの再帰的ベイズ構造をアルゴリズム的事前分布としてエンコードすることで、ロボットの状態推定におけるデータ効率性および一般化性能が向上するか？
• RQ3 実世界のビジョウドメトリにおいて、DPFはLSTMやBackprop Kalman Filter（BKF）と比較してどのように性能を発揮するか？
• RQ4 エンド・トゥ・エンド最適化により、DPFはフィルタリングの分野で知られるヒューリスティックである不確実性の過小評価を回避する能力を学習できるか？
• RQ5 アルゴリズム的事前分布は、未知の制御ポリシー下でも動作可能なポリシーに依存しない一般化を可能にするか？

主な発見

• DPFは、ローカライゼーションタスクにおいてLSTMネットワークと比較して、誤差率を約80％低減した。
• 同じ誤差率に達するための学習データ量をLSTMと比較して87％も削減したため、DPFは優れたデータ効率性を示した。
• 新しい制御ポリシーに一般化する際、DPFはLSTMとは異なり、ロバストに動作した。LSTMは訓練とは異なるポリシーでテストされた際、失敗した。
• KITTIビジョウドメトリベンチマークにおいて、DPFは短いシーケンス（100ステップ）で、Backprop Kalman Filter（BKF）と比較して並進誤差を約30％低減した。
• DPFが長尾分布を表現できる能力が、Gaussianベースのフィルタ（BKFなど）と比較して性能向上に寄与している可能性がある。
• エンド・トゥ・エンド学習により、DPFは不確実性を過小評価するというヒューリスティックが自然に回復され、本手法が確立されたロボティクスの原則と整合していることを裏付けた。