[論文レビュー] DualSMC: Tunneling Differentiable Filtering and Planning under Continuous POMDPs

Yunbo Wang, Bo Liu+5 more|arXiv (Cornell University)|Sep 28, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 6

ひとこと要約

DualSMC は、2つの逐次モンテカルロ（SMC）プロセスを用いて、状態推定と不確実性を考慮した計画を同時に最適化する微分可能で粒子ベースのフレームワークを提案する。1つは状態空間における信念推定に、もう1つは将来の軌道空間における計画に使用される。視覚入力と不確実性を考慮した方策を用いた複雑な部分観測環境（3Dナビゲーションやロボット制御など）において、最先端の性能を達成するとともに、粒子ベースの信念表現と敵対的訓練により解釈可能性を維持する。

ABSTRACT

A major difficulty of solving continuous POMDPs is to infer the multi-modal distribution of the unobserved true states and to make the planning algorithm dependent on the perceived uncertainty. We cast POMDP filtering and planning problems as two closely related Sequential Monte Carlo (SMC) processes, one over the real states and the other over the future optimal trajectories, and combine the merits of these two parts in a new model named the DualSMC network. In particular, we first introduce an adversarial particle filter that leverages the adversarial relationship between its internal components. Based on the filtering results, we then propose a planning algorithm that extends the previous SMC planning approach [Piche et al., 2018] to continuous POMDPs with an uncertainty-dependent policy. Crucially, not only can DualSMC handle complex observations such as image input but also it remains highly interpretable. It is shown to be effective in three continuous POMDP domains: the floor positioning domain, the 3D light-dark navigation domain, and a modified Reacher domain.

研究の動機と目的

• 状態の不確実性が意思決定の質に大きく影響する連続的 POMDP における部分観測下での計画の課題に対処すること。
• 粒子を用いて観測されない状態を信念として保持する微分可能で解釈可能なフレームワークを構築し、頑健な推論と計画を可能にすること。
• 共有されたダイナミクスと信念伝搬を介してフィルタリングと計画を統合し、サンプル効率と方策性能を向上させること。
• 画像のような複雑な観測を扱いながらも、粒子ベースの表現により解釈可能性を維持したエンド・ツー・エンドの学習を可能にすること。
• 3Dナビゲーションやロボット制御タスクを含む、挑戦的な連続的 POMDP 環境における優れた性能をベンチマーク化し、実証すること。

提案手法

• DualSMC は、実状態空間における粒子を用いた状態推定フィルタと、将来の軌道空間におけるサンプリングを行う計画用 SMC プロセスの2つを組み合わせる。
• 観測との整合性に基づいて粒子重みを精緻化するため、識別器を活用する敵対的粒子フィルタを導入し、フィルタリングの精度を向上させる。
• 微分可能な Q 関数と方策ネットワークを用いて、予測された報酬と状態-行動遷移に基づき、軌道の重みを計算する。不確実性を考慮した行動選択が可能となる。
• フィルタが得た上位の状態粒子が計画の初期信念として使用され、各ステップで再計画を行うモデル予測制御が実行される。この際、実行されるのは最初の行動のみである。
• フィルタと計画の両者で遷移モデルを共有し、フィルタには教師信号、計画には強化学習を用いてエンド・ツー・エンドで学習する。
• 粒子重みと状態遷移を介してフィルタと計画を結びつける信念伝搬メカニズムを採用し、不確実性を考慮した意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な観測（例：画像）を伴う連続的 POMDP において、微分可能な粒子ベースのフィルタリング手法が状態推定を改善できるか？
• RQ2 粒子ベースの信念表現を活用することで、連続的 POMDP における計画を不確実性に配慮したものにできるか？
• RQ3 敵対的訓練により、部分観測環境下での微分可能な粒子フィルタのロバスト性と精度が向上するか？
• RQ4 共有されたダイナミクスモデルが、統合的フィルタリングと計画におけるサンプル効率と性能向上にどの程度寄与するか？
• RQ5 連続的制御タスクにおいて、既存の深層強化学習および POMDP 手法と比較して、DualSMC フレームワークは性能と解釈可能性の両面で優れているか？

主な発見

• DualSMC は、床位置推定、3D ライト・ダークナビゲーション、および修正版 Reacher 環境の3つの連続的 POMDP ベンチマークで最先端の性能を達成した。
• 視覚的観測が豊富で長時間にわたる部分観測が発生する 3D ライト・ダークナビゲーションタスクにおいて、既存手法を上回った。
• 敵対的粒子フィルタは、特に高不確実性状況下で、標準的な微分可能な粒子フィルターよりも顕著に信念の正確性を向上させた。
• 上位の状態粒子を計画の初期信念として統合することで、収束が速くなり、より頑健な行動選択が可能になった。
• 各ステップで再計画を行うモデル予測制御により、モデルの不正確さに対しても適応性と安定性が保証された。
• 粒子ベースの信念状態を維持することで、高い解釈可能性を確保し、エラー解析やモデルデバッグが可能になった。