[論文レビュー] Deep Active Inference for Autonomous Robot Navigation

Ozan Çatal, Samuel T. Wauthier+3 more|arXiv (Cornell University)|Mar 6, 2020

Scientific Computing and Data Management被引用数 3

ひとこと要約

本稿では、高次元のカメラデータから深層ニューラルネットワークを用いてエンドツーエンドで状態表現を学習することにより、現実世界のロボットナビゲーションにおけるディープアクティブインファレンスを提案する。これは、物理的ロボット上でディープアクティブインファレンスを初めて適用した実験であり、期待自由エネルギーを最小化するポリシー計画を通じて、望ましい状態へ自律的にナビゲートする能力を実証した。パスの安定性を維持し、摂動からの回復も成功裏に達成した。

ABSTRACT

Active inference is a theory that underpins the way biological agent's perceive and act in the real world. At its core, active inference is based on the principle that the brain is an approximate Bayesian inference engine, building an internal generative model to drive agents towards minimal surprise. Although this theory has shown interesting results with grounding in cognitive neuroscience, its application remains limited to simulations with small, predefined sensor and state spaces. In this paper, we leverage recent advances in deep learning to build more complex generative models that can work without a predefined states space. State representations are learned end-to-end from real-world, high-dimensional sensory data such as camera frames. We also show that these generative models can be used to engage in active inference. To the best of our knowledge this is the first application of deep active inference for a real-world robot navigation task.

研究の動機と目的

• 高次元のセンサ入力を伴う現実世界のロボットナビゲーションにアクティブインファレンスを拡張すること。
• 事前に定義された状態空間や行動空間の必要性を排除し、生の観測からジェネレーティブモデルをエンドツーエンドで学習すること。
• ディープニューラルネットワークが物理的ロボットプラットフォーム上でアクティブインファレンスを実装可能であることを実証すること。
• 自由エネルギー最小化を用いた実際の移動型ロボットが倉庫の通路をナビゲートする状況で、このアプローチを検証すること。

提案手法

• 再パrameter化された正規分布を用いて、変分後退Q(st|st−1, at−1, ot)、尤度P(ot|st)、および事前分布P(st|st−1, at−1)を深層ニューラルネットワークで近似する。
• 負の対数尤度と後退分布と事前分布のKLダイバージェンスを最小化する変分自由エネルギー目的関数を用いて、ネットワークをエンドツーエンドで訓練する。
• LSTMを用いた再帰的事前分布(pθ)を備えた、VAEに類似したアーキテクチャ（エンコーダqφ、デコーダpξ、再帰的事前分布pθ）を採用し、時間的モデリングを実現する。
• 異なるポリシーのもとでの仮想的軌跡を生成し、期待自由エネルギーG(π)を最小化する行動シーケンスを選択することで、計画を実行する。
• 精度パラメータγを用いたソフトマックスポリシー選択を採用し、期待自由エネルギー最小化に基づいて行動を選択する。
• ドアの真ん中を走行する際の状態の分布を用いて、望ましい状態をデモによって定義する。

実験結果

リサーチクエスチョン

• RQ1 高次元の視覚的観測を伴う現実世界のロボットナビゲーションに、ディープアクティブインファレンスを効果的に適用できるか？
• RQ2 エンドツーエンドで学習されたジェネレーティブモデルは、アクティブインファレンスにおける手作業で設計された状態空間を置き換えられるか？
• RQ3 自由エネルギー最小化とポリシー計画を用いることで、ロボットは通路の真ん中でのナビゲーションをどれほど安定して維持できるか？
• RQ4 外部の摂動（ナビゲーション中に押されるなど）に対して、システムは回復できるか？

主な発見

• ロボットは複数回の試行において、通路の真ん中という望ましい状態へ成功裏にナビゲートし、安定したパスフォローを示した。
• ロボットが手作業で押されても、システムは安定したナビゲーションを維持し、回復行動を示した。
• 異なるポリシー（直進、左、右）のもとでの仮想的軌跡が、ロボットの実際の行動を正しく予測しており、計画メカニズムの妥当性が裏付けられた。
• 学習されたジェネレーティブモデルが、潜在表現から望ましい状態を再構築できたことから、効果的な状態表現学習が達成された。
• 明示的な報酬設計や報酬モデリングを一切行わずに、時間経過に伴って安定した性能を維持した。
• 本手法は、リアルタイムのセンサ入力を伴う実際の移動型ロボットプラットフォームでも正常に動作し、ディープアクティブインファレンスの最初の実世界デプロイメントを達成した。