[論文レビュー] Deep Reinforcement Learning based Automatic Exploration for Navigation in Unknown Environment

Haoran Li, Qichao Zhang+1 more|arXiv (Cornell University)|Jul 23, 2020

Robotic Path Planning Algorithms被引用数 12

ひとこと要約

本論文では、未知の環境におけるロボットの自動探索のためのモジュラーな深層強化学習フレームワークを提案する。部分的グリッドマップを入力として用い、探索効率とマップの完全性の両立を図るAFCQNエージェントを訓練する。本手法は、エンドツーエンドDRLおよび伝統的なフロンティアベース手法と比較して優れた一般化性能と現実世界への転送性を示し、物理実験では863.82の探索効率、シミュレーションでは986.95の効率を達成した。

ABSTRACT

This paper investigates the automatic exploration problem under the unknown environment, which is the key point of applying the robotic system to some social tasks. The solution to this problem via stacking decision rules is impossible to cover various environments and sensor properties. Learning based control methods are adaptive for these scenarios. However, these methods are damaged by low learning efficiency and awkward transferability from simulation to reality. In this paper, we construct a general exploration framework via decomposing the exploration process into the decision, planning, and mapping modules, which increases the modularity of the robotic system. Based on this framework, we propose a deep reinforcement learning based decision algorithm which uses a deep neural network to learning exploration strategy from the partial map. The results show that this proposed algorithm has better learning efficiency and adaptability for unknown environments. In addition, we conduct the experiments on the physical robot, and the results suggest that the learned policy can be well transfered from simulation to the real robot.

研究の動機と目的

• 多様な環境やセンサ構成に適応できない従来のルールベース探索手法の限界を解消すること。
• ロボット探索におけるエンドツーエンドDRLの低学習効率および劣悪なシミュレーションから現実世界への転送性を克服すること。
• マッピング、計画、意思決定を分離することで、システムのモularityを向上させ、既存のナビゲーションアルゴリズムとの統合を容易にするモジュラーなフレームワークを設計すること。
• 部分的マップとエッジセグメンテーションを補助的監視として用いるDRLベース意思決定エージェントを開発し、学習効率と一般化性能を向上させること。
• 提案手法をシミュレーションおよび物理的ロボット実験の両方で検証し、有効なシミュレーションから現実世界への転送性を示すこと。

提案手法

• フレームワークは探索を3つの独立したモジュールに分解する：マッピング（グリッドマップ構築）、計画（局所的経路計画）、意思決定（DRLポリシー）。
• AFCQNは部分的グリッドマップを入力として用い、特徴表現と学習効率の向上を図るためにエッジセグメンテーションを補助タスクとして活用して訓練される。
• DRLエージェントは、報酬関数によって探索進捗とマップ完全性のバランスを最適化するように、マップカバレッジを最大化し、重複探索を最小化する行動選択を学習する。
• 行動空間はグリッドマップから導出され、高不確実性領域またはフロンティア領域への移動方向に対応する。
• 本フレームワークは、既存のマッピングおよび計画アルゴリズムとの統合を可能とし、現実世界の運動学的モデルおよびセンサノイズに対応可能である。
• シミュレーションと現実世界の実験で同様のLiDARセンサを用いることで、リアリティギャップを低減し、シミュレーションから現実世界への転送を促進する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習と比較して、モジュラーなDRLベースフレームワークは、多様な未知環境における探索効率と一般化性能を向上させることができるか？
• RQ2 補助的エッジセグメンテーション監視は、DRLベース探索ポリシーの学習効率と性能にどのように影響するか？
• RQ3 シミュレーションで訓練されたポリシーを、微調整なしに物理的ロボットに成功裏に転送できるか、その程度はどの程度か？
• RQ4 提案手法AFCQNは、従来のフロンティアベース手法および標準DQN手法と比較して、カバー領域率および経路効率の点で優れているか？
• RQ5 大規模な未知環境において、探索効率と計算負荷の両立を効果的に実現できるか？

主な発見

• 提案されたAFCQN手法は、物理実験で863.82、シミュレーションで986.95の探索効率を達成し、両環境でDQNおよびFCQNを上回った。
• 物理的実験における探索領域率は平均0.84（標準偏差0.0344）であり、DQNの0.54と比較して顕著に高く、より高い耐障害性と信頼性を示した。
• シミュレーションと物理実験における探索軌跡の重なりが強く、一貫性のある意思決定行動と成功裏なシミュレーションから現実世界への転送性を示した。
• フロンティアベース手法は物理世界で最高の探索領域率0.91を達成したが、AFCQNは重複探索を回避し、マップ完全性が十分に達成された時点で早期に停止することで、より高い効率性を達成した。
• DQNエージェントはセンサノイズや入力分布のずれに敏感であったため、物理世界での探索が効果的にできず、AFCQNにおける補助的エッジ監視の利点が顕著に示された。
• フレームワークは一般化性能が向上し、AFCQNはエンドツーエンドDRL手法と比較して、異なるマップ間でのパフォーマンスのばらつきが低かった。