[論文レビュー] Active Robotic Mapping through Deep Reinforcement Learning

Shane Barratt|arXiv (Cornell University)|Dec 28, 2017

Optimization and Search Problems参考文献 8被引用数 5

ひとこと要約

本論文では、時間経過とともにマップの正確性を最大化することで、効率的な環境探索を学習する深層強化学習アプローチを提案する。占有グリッド信念表現を用いたアドバンテージアクターキャリブレーション（A2C）フレームワークを採用し、シミュレートされた災害マッピングシナリオにおいて、近似的に最適な貪欲な探索戦略を上回る性能を示した。本手法は、連続的アクション空間を有する複雑な現実世界のシナリオへもスケーラブルであることを示した。

ABSTRACT

We propose an approach to learning agents for active robotic mapping, where the goal is to map the environment as quickly as possible. The agent learns to map efficiently in simulated environments by receiving rewards corresponding to how fast it constructs an accurate map. In contrast to prior work, this approach learns an exploration policy based on a user-specified prior over environment configurations and sensor model, allowing it to specialize to the specifications. We evaluate the approach through a simulated Disaster Mapping scenario and find that it achieves performance slightly better than a near-optimal myopic exploration scheme, suggesting that it could be useful in more complicated problem scenarios.

研究の動機と目的

• 既存のヒューリスティック手法よりも高速かつ高精度に未知の環境をマッピングする強化学習ベースのエージェントを開発すること。
• エンドツーエンドの学習により、ユーザー指定のセンサーモデルおよび環境の事前分布に特化できるようにエージェントを設計すること。
• 占有グリッドマッピングにおけるアクション選択の課題を、マーカフ連鎖過程（MDP）として定式化すること。
• 複雑な不確実性とセンサードライヴンのダイナミクスを有する現実的なシミュレーションで手法を評価し、未観測の環境への一般化能力を示すこと。
• アクティブマッピングとアクティブローゼーションを統合する基盤を構築し、最終的にはトレーニング可能な完全なSLAMシステムを実現すること。

提案手法

• 本手法は、アクティブマッピング問題をマーカフ連鎖過程（MDP）としてモデル化し、状態にはロボットのポーズと環境の占有グリッドに対する信念が含まれる。
• エージェントの信念は、推論を扱いやすくするためにグリッドセル間の独立性を仮定した、対数オッズ占有グリッドで表現される。
• 信念マップとロボットのポーズを入力とする深層ニューラルネットワーク（MLP、CNN-MLP、またはResNet）がアクションを出力し、トレーニングにはアドバンテージアクターキャリブレーション（A2C）アルゴリズムが用いられる。
• エージェントは、マップ構成の事前分布と指定されたセンサーモデルに基づき、マップの正確性と速度に基づく密度の高い報酬を得るシミュレーションでトレーニングされる。
• 現在の設定ではアクション空間は離散的であるが、A2Cにおける解析的対数確率を用いることで、連続的アクションへ拡張可能である。
• 安定した最適化を実現するため、不確実性の急速な低減を促進する報酬形状化スキーム、エントロピー正則化、および学習率の段階的低下が用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、手作業で設計された貪欲な戦略よりも、アクティブマッピングにおいて未知の環境をより効率的に探索できるか？
• RQ2 マップ構成の事前分布に基づいてトレーニングされたエージェントは、未観測の環境へどの程度一般化できるか？
• RQ3 ニューラルネットワークアーキテクチャの選択（MLP、CNN-MLP、ResNet）が、アクティブマッピングにおける学習の安定性と最終的パフォーマンスに与える影響はいかほどか？
• RQ4 本手法は、ロボットの回転と移動を同時に制御するような連続的アクション空間へ拡張可能か？
• RQ5 本手法は、方向依存のノイズを有するソナーまたはレンジファインダーなどのより複雑なセンサーモデルへスケーラブルか？

主な発見

• ResNetアーキテクチャは平均エピソード報酬254.87 ± 47.26を達成し、251.07 ± 29.20を示す貪欲な探索ベースラインをわずかに上回った。
• 初期段階では優位性を示したが、ResNetのトレーニングは発散した。最終的には、CNN-MLPアーキテクチャがResNetおよび単純なMLPの両方を上回る平均パフォーマンスを達成した。
• ランダム探索（92.19 ± 23.84）と比較して、本手法は顕著に優れており、エージェントが意味のある探索ポリシーを学習していることが確認された。
• 1,000枚の未学習マップにおいてもエージェントのパフォーマンスは安定しており、未観測環境への強い一般化能力を示した。
• 本手法が、従来の情報量ゲインやフロンティアベースの手法が不適切となるような、より複雑な環境やセンサーモデルへスケーラブルである可能性を示唆している。
• シミュレートされた災害マッピングシナリオにおける本手法の成功は、今後アクティブローゼーションおよび完全なSLAMシステムへの統合の可能性を支持する。