[論文レビュー] Teaching a Machine to Read Maps with Deep Reinforcement Learning

Gino Brunner, Oliver Richter+2 more|arXiv (Cornell University)|Nov 20, 2017

Robotics and Sensor-Based Localization被引用数 16

ひとこと要約

本論文では、A3C、再帰的局所化セル、および局所地図推定モジュールを組み合わせたモジュラーフレームワークを用いて、2次元地図を読み取り、3次元迷路をナビゲートする深層強化学習エージェントを提示する。エージェントは、視覚入力、方位、地図フィードバックを統合して自己位置を特定し、最短経路を計画することで、訓練中に見た迷路よりも最大3倍大きい迷路においても、頑健な一般化を達成する。

ABSTRACT

The ability to use a 2D map to navigate a complex 3D environment is quite remarkable, and even difficult for many humans. Localization and navigation is also an important problem in domains such as robotics, and has recently become a focus of the deep reinforcement learning community. In this paper we teach a reinforcement learning agent to read a map in order to find the shortest way out of a random maze it has never seen before. Our system combines several state-of-the-art methods such as A3C and incorporates novel elements such as a recurrent localization cell. Our agent learns to localize itself based on 3D first person images and an approximate orientation angle. The agent generalizes well to bigger mazes, showing that it learned useful localization and navigation capabilities.

研究の動機と目的

• エージェントが2次元地図と1人称視覚入力のみを用いて、未訓練の3次元迷路でのナビゲーションを学習すること。
• ナビゲーションタスクにおけるスパarsな報酬問題に対処するため、地図推定と局所化のための補助学習を統合すること。
• 局所化、地図解釈、経路計画といったサブタスクを専用コンポーネントで解決するモジュラーフレームワークを構築すること。
• 優先順位付きリプレイを用いたポリシー内およびポリシー外学習の組み合わせにより、小さな迷路で学習することで、より大きな迷路への一般化を向上させること。

提案手法

• エージェントは、反応的ポリシーにポリシー内学習を適用し、局所化およびマッピングモジュールにポリシー外学習と優先順位付きリプレイを用いた変更版A3Cアーキテクチャを採用する。
• 再帰的局所化セルは、学習された局所地図とラスタライズドグローバルマップの相関を用いて、エージェントの位置を推定し、相関スコアのソフトマックスを用いる。
• マッピングモジュールは、3次元RGB入力から可視の局所2次元地図を生成し、エゴモーション推定値とトレーニング可能なフィードバック重みλを用いて更新する。
• 局所地図は、推定されたエゴモーションを用いて前回の推定値をずらし、両方の信号をクリッピングして[−0.5, +0.5]に制限することで精錬される。
• 最短経路計画アルゴリズムは、グリッド迷路上で再帰的乗算更新を用いて、出口への近接度に基づいて値を割り当てる。
• エージェントは隣接セルのソフトマックスを用いて行動確率を出力し、最終的なポリシーが目標方向にナビゲートを導く。

実験結果

リサーチクエスチョン

• RQ1 視覚入力と2次元地図のみを用いて、明示的な状態監視なしに、3次元迷路内で自己位置を特定できる深層強化学習エージェントは存在するか？
• RQ2 局所地図推定のような補助タスクは、未確認の大きな迷路への一般化能力をどのように向上させるか？
• RQ3 再帰的局所化セルの統合は、位置推定の正確性とナビゲーションパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 反応的ポリシー学習と中間サブタスクモジュール（局所化、マップフィードバック）を組み合わせたモジュラーフレームワークは、報酬がスパarsなナビゲーションタスクにおいて、エンドツーエンド学習を上回る性能を発揮できるか？
• RQ5 マップフィードバックとエゴモーション推定は、時間経過とともに局所地図の構築を安定化・向上させるのにどの程度有効か？

主な発見

• エージェントは、訓練時に見た最大迷路よりも最大3倍大きい迷路を成功裏にナビゲートし、強力な一般化能力を示した。
• 再帰的局所化セルにより、正確な位置推定が可能であり、21×21迷路（推定位置[23,17]、実際の位置[22,17]）においても高い信頼性で自己位置を特定した。
• 視覚的およびエゴモーションの手がかりの統合により、コンパスの誤差が生じても、マッピングモジュールは頑健な局所地図を生成した。
• 補助タスク、特にマップフィードバックとエゴモーションに基づくマップシフトの導入により、局所地図推定の安定性と正確性が顕著に向上した。
• エージェントは、マップの記号と報酬を関連づける能力を学習した—目標に対して正の報酬、壁に対して負の報酬—、これは効果的な地図解釈を示している。
• 反復的価値伝播に基づく最短経路計画アルゴリズムにより、エージェントは高精度で最適な行動方向を計算でき、ポリシー確率分布からもその精度が裏付けられた。