[論文レビュー] Particle Filter Networks with Application to Visual Localization

Péter Karkus, David Hsu+1 more|arXiv (Cornell University)|May 23, 2018

Target Tracking and Data Fusion in Sensor Networks参考文献 46被引用数 19

ひとこと要約

本論文では、順次状態推定のための確率的システムモデルとパーティクルフィルタリングアルゴリズムを、エンド・ツー・エンドで同時に学習する微分可能なニューラルネットワーク、Particle Filter Networks (PF-net) を提案する。PF-net は、視覚的入力が複雑で、2次元のフロアマップを伴う未確認の環境へも効果的に一般化できるため、従来のモデルベース手法や他の学習アーキテクチャを上回る性能を発揮する。

ABSTRACT

Particle filtering is a powerful approach to sequential state estimation and finds application in many domains, including robot localization, object tracking, etc. To apply particle filtering in practice, a critical challenge is to construct probabilistic system models, especially for systems with complex dynamics or rich sensory inputs such as camera images. This paper introduces the Particle Filter Network (PFnet), which encodes both a system model and a particle filter algorithm in a single neural network. The PF-net is fully differentiable and trained end-to-end from data. Instead of learning a generic system model, it learns a model optimized for the particle filter algorithm. We apply the PF-net to a visual localization task, in which a robot must localize in a rich 3-D world, using only a schematic 2-D floor map. In simulation experiments, PF-net consistently outperforms alternative learning architectures, as well as a traditional model-based method, under a variety of sensor inputs. Further, PF-net generalizes well to new, unseen environments.

研究の動機と目的

• カメラ画像のような高次元の観測空間においても、順次状態推定のための複雑な確率的システムモデルを学習する課題に対処すること。
• 視覚的局所化タスクにおいて、手作業で設計された観測モデルを必要とする従来のモデルベース手法の限界を克服すること。
• パーティクルフィルタリングに最適化された、状態遷移モデルと観測モデルを同時に学習するエンド・ツー・エンドの学習システムを可能にすること。
• 視覚的特徴と意味的なラベルが付与された2次元のフロアマップを組み合わせることで、視覚的局所化のロバスト性と一般化性能を向上させること。
• PF-net が曖昧で部分的な観測を効果的に処理でき、高次元連続状態空間へスケーリングできることを示すこと。

提案手法

• パーティクルフィルタリングアルゴリズムを微分可能な計算グラフとして埋め込んだ、再帰的ニューラルネットワーク（RNN）アーキテクチャを設計する。
• ネットワーク内に学習可能な確率的状態遷移モデルと観測モデルを統合し、パーティクルフィルタの予測および更新ステップを微分可能な演算として実装する。
• 時間に沿った誤差逆伝播（BPTT）を用いて、予測された信念状態と真値信念状態の差を最小化する損失関数を最適化することで、ネットワーク全体をエンド・ツー・エンドで学習する。
• 高次元の不確実性下でも訓練を安定化させ、性能を向上させるために、微分可能なリサンプリング機構（ソフトリサンプリング）を導入する。
• RGBカメラと深度カメラのマルチモーダルセンサ入力、およびセマンティックマップ特徴（例：ドア、部屋タイプ）をネットワークの入力チャネルとして統合する。
• ロボットが2次元のフロアマップのみを用いて3次元世界で局所化を行うことを想定し、House3D シミュレーション環境を用いてネットワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークが、エンド・ツー・エンドでシステムモデルとパーティクルフィルタリングアルゴリズムを同時に学習することで、視覚的局所化性能を向上させることができるか？
• RQ2 PF-net のエンド・ツー・エンド学習が、従来のモデルベース手法と比較して、未確認の環境への一般化性能を向上させるか？
• RQ3 セマンティックマップ情報（例：部屋タイプ、ドア）の統合が、PF-net の局所化精度に与える影響は何か？
• RQ4 ソフトリサンプリングやマルチステップバックプロパゲーションなどの異なる学習戦略が、PF-net の性能に与える影響は何か？
• RQ5 PF-net は、初期不確実性が高く、ノイズの多いオドメトリを伴うグローバル局所化タスクにおいても、効果的に処理できるか？

主な発見

• PF-net は、RGB と深度入力を用いた半グローバル局所化タスクにおいて、従来のモデルベースパーティクルフィルタリング手法を常に上回り、79% の成功率を達成した。
• 1,000 個のパーティクルを用いた場合、単一の部屋に均一な初期信念をもってグローバル局所化を実行した際の成功率は 75% であったが、初期信念が2つの部屋にまたがる場合、79% に上昇した。
• セマンティックマップ特徴（例：ドアや部屋カテゴリ）を統合することで、局所化性能が向上し、ソフトリサンプリングを用いた高次元の不確実性下では、成功率が 39% から 42% に上昇した。
• 複数時間ステップ（4ステップ）にわたって誤差を逆伝播させることで、性能が 79% の成功率に向上した。これは、将来の損失信号が現在の状態推定を改善することを示している。
• 従来の研究から得られた確率的損失関数に置き換えることで、標準的なトラッキングタスクでは性能が低下（74% vs. 79%）したが、高次元の不確実性下では結果が改善された（67% vs. 39%）。これは、損失関数設計におけるトレードオフを示している。
• PF-net は、トレーニング中に見られなかった未確認の環境へも強く一般化し、テスト時に訓練とは異なるレイアウトが使用されても高い性能を維持した。