[論文レビュー] Towards Differentiable Resampling

Michael Zhu, Kevin D. Murphy+1 more|arXiv (Cornell University)|Apr 24, 2020

Target Tracking and Data Fusion in Sensor Networks参考文献 10被引用数 21

ひとこと要約

本論文は、微分可能なパーティクルフィルタにおける従来の微分不可能なリサンプリングを置き換えるため、微分可能なニューラルネットワークリサンプリア、すなわちパーティクルトランスフォーマーを提案する。尤度に基づく損失関数を用いてリサンプリアを訓練し、エンドツーエンド最適化を可能にすることで、合成データおよびシミュレートされたロボット局在化タスクにおいて従来のリサンプリングを上回る性能を達成し、特にマルチモーダルな事後分布推定において、より高いロバスト性とパーティクルの多様性が得られることを示している。

ABSTRACT

Resampling is a key component of sample-based recursive state estimation in particle filters. Recent work explores differentiable particle filters for end-to-end learning. However, resampling remains a challenge in these works, as it is inherently non-differentiable. We address this challenge by replacing traditional resampling with a learned neural network resampler. We present a novel network architecture, the particle transformer, and train it for particle resampling using a likelihood-based loss function over sets of particles. Incorporated into a differentiable particle filter, our model can be end-to-end optimized jointly with the other particle filter components via gradient descent. Our results show that our learned resampler outperforms traditional resampling techniques on synthetic data and in a simulated robot localization task.

研究の動機と目的

• 従来のリサンプリングの非微分性が、時間ステップをまたがる誤差逆伝搬を妨げるという問題に対処すること。
• 学習可能なリサンプリングが、状態推定タスクにおいて従来のリサンプリング手法を上回る可能性があるかどうかを調査すること。
• 集合の置換不変性と重みに基づくアテンションを尊重するように設計された、パーティクルリサンプリングに特化したニューラルネットワークアーキテクチャを考案すること。
• リサンプリングステップを学習可能で勾配に適合するメカニズムとして微分可能にすることで、パーティクルフィルタのエンドツーエンド学習を可能にすること。
• 低重み領域ですら多様なパーティクルを生成することで、モデル誤差やマルチモーダルな事後分布に対してもロバスト性を向上させること。

提案手法

• パーティクルセットを処理し、リサンプリングされたパーティクルを生成するため、重み付きマルチヘッドアテンションを用いたセットベースのニューラルネットワークであるパーティクルトランスフォーマーを提案する。
• スケール同値性と重み付きアテンションを導入することで、モデルがパーティクルの重みを尊重し、空間的一致性を保つようにする。
• 予測されたパーティクルセットと真値セットの事後尤度を比較する尤度に基づく損失関数を用いて、リサンプリアを訓練する。
• リサンプリア、運動モデル、測定モデルをすべて通じて勾配を逆伝搬可能にすることで、完全な微分可能なパーティクルフィルタのエンドツーエンド訓練を可能にする。
• 複数ステップにわたる時間軸に沿った誤差逆伝搬（BPTT）を実行する際の訓練安定性を高めるために、勾配クリッピングを採用する。
• 2段階の訓練戦略を採用する：まず合成データ上で尤度損失を用いてリサンプリアを事前学習し、次にフルフィルタパイプラインでエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なニューラルネットワークリサンプリアは、微分可能なパーティクルフィルタにおいて従来のリサンプリングを上回る性能を達成できるか？
• RQ2 微分可能なリサンプリング機構により、複数時間ステップにわたる誤差逆伝搬を伴う安定的なエンドツーエンド訓練が可能になるか？
• RQ3 パーティクルトランスフォーマーは、特にマルチモーダルまたはノイズが多い状況において、従来のリサンプリングよりも多様でロバストなパーティクルセットを生成するか？
• RQ4 学習されたリサンプリアにより、高尤度領域にパーティクルをより適切に分散させることで、過剰にパrameter化された運動モデルや測定モデルの必要性を低減できるか？
• RQ5 モデルの不確実性やノイズのレベルが異なる条件下で、パーティクルトランスフォーマーの性能はシステムティックリサンプリングや他のリサンプリング手法と比べてどのように異なるか？

主な発見

• 合成データにおいて、パーティクルトランスフォーマーはシステムティックリサンプリングを上回り、リサンプリアを固定した状態では誤差率を4.3%から3.7%に、エンドツーエンドで訓練した状態では4.9%から1.9%にまで低下させた。
• パーティクルトランスフォーマーを用いたエンドツーエンド訓練が最も優れた性能を達成し、特にBPTTでk=1を用いた場合に、固定済みおよび非固定済みリサンプリアの両方のバリアントを上回った。
• パーティクルトランスフォーマーは低重み領域にもパーティクルを生成し、マルチモーダルな事後分布ピーク付近でより多様なサンプルを生成するが、システムティックリサンプリングはこのような領域を無視してしまう。
• シミュレートされたロボット局在化タスクにおいて、学習済みリサンプリアを備えたパーティクルフィルタは4ステップにわたり真のロボットポーズを正常に追跡できたが、従来のリサンプリアはパーティクルの劣化により失敗した。
• 複数の仮説に近いパーティクルを維持できる能力により、パーティクルトランスフォーマーは、訓練中に観測されなかったモデル誤差やレアな観測状態に対してもロバスト性が向上した。
• 勾配クリッピングにより、特に複数ステップにわたるBPTTを実行する際の訓練安定性と性能が向上したが、完全なエンドツーエンド訓練は依然として挑戦的である。