[論文レビュー] Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems.

Linh Kästner, Teham Buiyan+4 more|arXiv (Cornell University)|Apr 8, 2021

Robotic Path Planning Algorithms参考文献 20被引用数 4

ひとこと要約

本論文は、深層強化学習（DRL）に基づくローカルプランナを従来のナビゲーションスタックに統合することで、モバイルロボットにおける安全で効率的かつ頑健な長距離ナビゲーションを可能にする手法を提案する。DRLの柔軟性と古典的プランニングフレームワークを組み合わせることで、DRLの長期記憶の欠如や局所最適解への陥落といった限界を克服し、評価において安全性、効率性、頑健性の面で従来のプランナを上回る性能を発揮する。

ABSTRACT

Recently, mobile robots have become important tools in various industries, especially in logistics. Deep reinforcement learning emerged as an alternative planning method to replace overly conservative approaches and promises more efficient and flexible navigation. However, deep reinforcement learning approaches are not suitable for long-range navigation due to their proneness to local minima and lack of long term memory, which hinders its widespread integration into industrial applications of mobile robotics. In this paper, we propose a navigation system incorporating deep-reinforcement-learning-based local planners into conventional navigation stacks for long-range navigation. Therefore, a framework for training and testing the deep reinforcement learning algorithms along with classic approaches is presented. We evaluated our deep-reinforcement-learning-enhanced navigation system against various conventional planners and found that our system outperforms them in terms of safety, efficiency and robustness.

研究の動機と目的

• 局所最適解への陥落や長期記憶の欠如による深層強化学習（DRL）の長距離ナビゲーションにおける限界を解消すること。
• 従来のナビゲーションシステムと統合することで、産業用モバイルロボットにおけるDRLベースの障害物回避の実用的導入を可能にすること。
• 古典的プランニングアルゴリズムと併せてDRLベースのプランナの訓練とテストを統合したフレームワークの開発。
• 従来のアプローチと比較して、安全性、効率性、頑健性の観点からナビゲーション性能の向上を図ること。

提案手法

• 従来のグローバルプランナとDRLベースのローカルプランナを組み合わせたハイブリッドナビゲーションアーキテクチャの設計。
• 模擬環境で強化学習を用いてDRLエージェントを訓練し、障害物回避方策を学習する。
• 標準的なROSベースのナビゲーションスタックに訓練済みのDRLポリシーを統合し、既存システムとの互換性を確保する。
• カリキュラム学習と報酬形状化を用いて訓練の安定化とサンプル効率の向上を図る。
• DRLエージェントに一貫した状態観測（例：LiDARスキャン）を提供するセンシングパイプラインを実装する。
• 標準化されたベンチマークを用いてDRL強化システムを評価し、DWA や TEB といった古典的プランナと直接比較する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのローカルプランナは、従来のナビゲーションスタックに効果的に統合可能であり、長距離ナビゲーションを可能にするか？
• RQ2 安全性、効率性、頑健性の観点から、DRL強化システムは古典的プランナと比較してどのように異なるか？
• RQ3 DRLコンponentは、障害物回避における保守的でヒューリスティックな行動への依存度をどの程度低減するか？
• RQ4 統合によって、システムの安定性と既存の産業用ロボットソフトウェアスタックとの互換性が保持されるか？

主な発見

• DRL強化ナビゲーションシステムは、ナビゲーション成功確率と経路効率性の面で従来のプランナを上回った。
• 動的で混雑した環境において、古典的プランナが失敗するか、過度に保守的な行動を示すのに対し、本システムは優れた頑健性を示した。
• 従来のスタックにDRLを統合することで、局所最適解や記憶制限といったDRLの一般的な課題を効果的に回避し、長距離ナビゲーションを実現できた。
• フレームワークは標準的なROSナビゲーションスタックとの互換性を維持しており、産業現場における実用的導入が可能であった。