[論文レビュー] Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation

Péter Karkus, David Hsu+1 more|arXiv (Cornell University)|Jul 17, 2018

Robotic Path Planning Algorithms参考文献 27被引用数 5

ひとこと要約

本稿では、部分的に観察可能なロボットナビゲーションのための、微分可能でエンドツーエンドでトレーニング可能な再帰的ニューラルネットワークであるナビゲーションネットワーク（NavNets）を提案する。アルゴリズム的プライア（具体的には、モデルベースのプランナと微分可能パーティクルフィルタ）をディープラーニングフレームワークに統合することにより、NavNetsは2次元マップと単眼視覚観測のみを用いて、未確認の3次元環境でもナビゲーションを学習し、シミュレートされた環境間で一般化を示した。

ABSTRACT

We propose to take a novel approach to robot system design where each building block of a larger system is represented as a differentiable program, i.e. a deep neural network. This representation allows for integrating algorithmic planning and deep learning in a principled manner, and thus combine the benefits of model-free and model-based methods. We apply the proposed approach to a challenging partially observable robot navigation task. The robot must navigate to a goal in a previously unseen 3-D environment without knowing its initial location, and instead relying on a 2-D floor map and visual observations from an onboard camera. We introduce the Navigation Networks (NavNets) that encode state estimation, planning and acting in a single, end-to-end trainable recurrent neural network. In preliminary simulation experiments we successfully trained navigation networks to solve the challenging partially observable navigation task.

研究の動機と目的

• ロボットの初期位置が不明であり、視覚観測と2次元マップから推定しなければならない部分観察可能なナビゲーションの課題に対処すること。
• アルゴリズム的構造を直接微分可能ニューラルネットワークに埋め込むことにより、モデルベースのプランニングとモデルフリーのディープラーニングの長所を統合すること。
• 部分観察下でも局所化、計画、行動選択を実行する統合型システムをエンドツーエンドでトレーニング可能にする仕組みを提供すること。
• エキスパートのデモンストレーションと視覚入力のみを用いて、未確認の3次元環境間でナビゲーションポリシーを一般化すること。

提案手法

• 状態推定、計画、行動選択を1つの微分可能プログラムに統合する再帰的ニューラルネットワークである、ナビゲーションネットワーク（NavNets）と呼ばれる新規アーキテクチャを提案する。
• 信念表現に微分可能パーティクルフィルタを採用し、視覚観測と2次元マップからの確率的状態推定を可能にする。
• ネットワーク内にモデルベースプランナ（QMDPに類似）を埋め込むことで、不確実性下での将来の状態と行動についての推論が可能になる。
• 再帰的アーキテクチャを用いて過去の観測と行動の記憶を保持し、部分観察下での逐次的意思決定を可能にする。
• エキスパートデモンストレーションからの教師ありインピータション学習を用い、微分可能コンponentsを介してバックプロパゲーションによるエンドツーエンドトレーニングを実施する。
• 行動選択や計画などの非微分可能演算に対して微分可能近似（例：ソフトアーグマックス）を適用し、勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルネットワークアーキテクチャは、部分観察ナビゲーションにおいて計画と学習を効果的に統合できるか？
• RQ2 NavNetsは、視覚観測と2次元マップのみを用いて、未確認の3次元環境間でナビゲーションポリシーを一般化できるか？
• RQ3 プランナーやパーティクルフィルタといったアルゴリズム的プライアを埋め込むことで、部分観察設定における標準的なディープ強化学習より性能が向上するか？
• RQ4 現在のNavNet設計が、予期しない障害物や長時間スパンの計画処理を処理する上で抱える制限は何か？

主な発見

• NavNetsは、エキスパートデモンストレーションと視覚入力のみを用いて、シミュレートされた3次元環境でナビゲーションポリシーを効果的に学習し、未確認の迷路間で一般化を示した。
• 具体的には、微分可能プランナとパーティクルフィルタを含むアルゴリズム的プライアの統合により、部分観察下でも効果的な推論が可能となり、複雑な状況下で先行するモデルフリー手法を上回った。
• 予備実験では、単純なナビゲーションタスクでは高い成功率を達成したが、より複雑な設定（タスクC）では障害物回避の失敗により性能が不十分にとどまった。
• 失敗の多くは、アクターの記憶不足とグローバルプランへの認識不足に起因しており、より洗練された状態表現と長いコンテキスト窓の導入が求められる。
• エンドツーエンドでトレーニング可能な微分可能コンponentsを備えた統合型システムにより、局所化、計画、制御の共同最適化が可能であることが示された。
• 今後の改善策として、マルチステップの視覚履歴とより大きなローカルプラン表現の統合が、反応性の高い障害物回避を強化すると示唆された。