[論文レビュー] Neural SLAM: Learning to Explore with External Memory

Jingwei Zhang, Lei Tai+3 more|arXiv (Cornell University)|Jun 29, 2017

Robotics and Sensor-Based Localization参考文献 33被引用数 119

ひとこと要約

Neural SLAMは、外部メモリを備えた強化学習エージェントを導入し、未知環境を探索・覆うSLAM風の手続きを学習し、内部の認知地図を形成する。

ABSTRACT

We present an approach for agents to learn representations of a global map from sensor data, to aid their exploration in new environments. To achieve this, we embed procedures mimicking that of traditional Simultaneous Localization and Mapping (SLAM) into the soft attention based addressing of external memory architectures, in which the external memory acts as an internal representation of the environment. This structure encourages the evolution of SLAM-like behaviors inside a completely differentiable deep neural network. We show that this approach can help reinforcement learning agents to successfully explore new environments where long-term memory is essential. We validate our approach in both challenging grid-world environments and preliminary Gazebo experiments. A video of our experiments can be found at: https://goo.gl/G2Vu5y.

研究の動機と目的

• 効率的な探索とカバーを実現するための長期的な内部表現の必要性を動機づける。
• SLAM風のプロセスをニューラルネットワーク内に埋め込んだエンドツーエンドの微分可能なアーキテクチャを提案する。
• 外部メモリが未知環境での計画とメモリベースの探索を促進することを示す。

提案手法

• サイズ H x W x C の外部メモリテンソル M を用いた A3C ベースの強化学習フレームワークを拡張する。
• 環境情報を格納・取得するために LSTM が制御する書き込みヘッドと読み出しヘッドを使用する。
• 微分可能なパイプライン内で SLAM に似た運動予測とデータ連結（データアソシエーション）ステップを埋め込む。
• 読み書き操作は、位置推定、内容ベースのアドレシング、およびシフト/シャープ更新を伴う注意ベースのアドレッシング機構に従う（式 II-C 1-5, 7-9）。
• 読み出しを LSTM 隠れ状態と結合して方策 π と値 V を生成し、A3C と GAE（式 2-3）で訓練する。
• メモリ更新をバiasするための運動モデルを取り入れ、外部メモリを局所的な自我座標系マップではなくグローバルマップとして扱う。

実験結果

リサーチクエスチョン

• RQ1 外部に保存された微分可能なメモリが、未知環境で長期的な探索戦略を学習する RL エージェントを可能にするか。
• RQ2 SLAM風の運動と測定更新をニューラルアーキテクチャに埋め込むことは、メモリなし・外部メモリなしのベースラインと比べて探索の効率とカバーを改善するか。
• RQ3 Neural SLAMはトレーニングカリキュラムを超えたより大きな環境や異なる環境にどの程度一般化するか。
• RQ4 成功した探索に関連する記憶の動的性質（書き込み/読み出しパターン）はどのようになるか。

主な発見

ステップ数	報酬	成功率
Random	5531.600 ± 4299.554	-
A3C	333.780 ± 300.098	33/50
A3C-Nav1	290.500 ± 275.228	37/50
A3C-Nav2	283.480 ± 279.098	37/50
A3C-Ext	569.640 ± 272.931	18/50
Neural-SLAM	174.920 ± 174.976	46/50

• Neural-SLAMはベースラインより優れており、グリッドワールドの実験で成功率が高く探索が速い。
• 16x16 ワールドへの一般化テストでは、Neural-SLAMが最も高い成功数（46/50）と最も低い探索ステップ数（174.92 ± 174.98）を他の手法の中で達成。
• 外部メモリを持つが運動ベースのメモリ更新がない A3C-Ext は Neural-SLAM を下回り、メモリ更新における明示的な運動予測の利点が強調される。
• メモリの読み書きヘッドは時間とともに専門化し、書き込みアテンションは集中、読み取りアテンションはマップを要約する方向へ拡散する。
• Gazebo 実験では、より現実的な物理/センサーシナリオにおいても Neural-SLAM の探索性能が堅牢であることを示す。