[論文レビュー] AI based Algorithms of Path Planning, Navigation and Control for Mobile Ground Robots and UAVs

Jian Zhang|arXiv (Cornell University)|Oct 3, 2021

Robotic Path Planning Algorithms参考文献 265被引用数 5

ひとこと要約

本稿では、移動型地上ロボットおよびUAVに適したハイブリッドAIベースの経路計画およびナビゲーションフレームワークを提案する。反応型ナビゲーションとQ学習を統合することで、静的および動的環境において衝突のない最適な経路探索を実現する。本手法は、シミュレートされた2次元および3次元環境において強化学習を用いて、効率的でリアルタイムな経路計画と頑健な障害物回避を達成し、ベースライン手法よりも優れた性能を示している。

ABSTRACT

As the demands of autonomous mobile robots are increasing in recent years, the requirement of the path planning/navigation algorithm should not be content with the ability to reach the target without any collisions, but also should try to achieve possible optimal or suboptimal path from the initial position to the target according to the robot's constrains in practice. This report investigates path planning and control strategies for mobile robots with machine learning techniques, including ground mobile robots and flying UAVs. In this report, the hybrid reactive collision-free navigation problem under an unknown static environment is investigated firstly. By combining both the reactive navigation and Q-learning method, we intend to keep the good characteristics of reactive navigation algorithm and Q-learning and overcome the shortcomings of only relying on one of them. The proposed method is then extended into 3D environments. The performance of the mentioned strategies are verified by extensive computer simulations, and good results are obtained. Furthermore, the more challenging dynamic environment situation is taken into our consideration. We tackled this problem by developing a new path planning method that utilizes the integrated environment representation and reinforcement learning. Our novel approach enables to find the optimal path to the target efficiently and avoid collisions in a cluttered environment with steady and moving obstacles. The performance of these methods is compared with other different aspects.

研究の動機と目的

• 単独の反応型ナビゲーションおよびQ学習の限界を解消すること。
• 反応型ナビゲーションのリアルタイム応答性とQ学習の長期的最適化を組み合わせたハイブリッドアルゴリズムの開発。
• UAV向けおよび複雑な障害物シナリオに対応する3次元環境への手法の拡張。
• 静的および動的障害物を含む動的環境における効率的な経路計画の実現。
• 多様な環境条件下で広範なシミュレーションを用いてアプローチの妥当性を検証すること。

提案手法

• 反応型ナビゲーションによる即時の障害物回避と、Q学習による長期的経路最適化を統合したハイブリッドアーキテクチャ。
• Q学習部は、ナビゲーションの最適な状態-行動値を学習するために、シミュレーテッド環境で訓練される。
• 環境表現を強化学習と統合し、静的および動的障害物をモデル化する。
• Q学習の入力として、ロボットの位置、ターゲット、障害物の位置を状態空間の離散化により表現する。
• 状態空間および行動空間を高度および方位に適応させることで、3次元に拡張する。
• 障害物密度および動的特性の変動を想定した、広範なコンピュータシミュレーションによる性能評価。

実験結果

リサーチクエスチョン

• RQ1 未知の静的環境において、反応型ナビゲーションとQ学習を効果的に統合することで、経路計画の性能をどのように向上させられるか？
• RQ2 純粋な反応型またはQ学習のみの手法と比較して、ハイブリッド手法の性能向上（経路最適性および衝突回避性）はどの程度か？
• RQ3 UAV向けに3次元環境に拡張した場合でも、リアルタイム性能を維持できるか？
• RQ4 複雑な環境における動的障害物の扱いについて、既存の強化学習ベースのプランナーよりも本手法はどのように優れているか？
• RQ5 シミュレーションにおける収束性および頑健性に影響を与える主な設計要因は何か？

主な発見

• ハイブリッド手法は、反応型手法のみと比較して、未知の静的環境において著しく改善された経路最適性を達成し、衝突のないナビゲーションを実現した。
• 3次元シミュレーションでは、UAVが静的および動的障害物を回避しながら最適な経路を計画することに成功した。
• 環境表現と強化学習の統合により、障害物配置の変化に効率的に適応できるようになった。
• 複数のシミュレーションシナリオにおいて、経路長および成功確率の両面で、ベースラインのQ学習および反応型手法を上回った。
• 動的障害物を含む複雑でごみだらけの環境でも、安定した収束性とリアルタイム性能を示した。