[論文レビュー] Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition

Javad Heydari, Olimpiya Saha+1 more|arXiv (Cornell University)|Oct 18, 2021

Robotic Path Planning Algorithms参考文献 52被引用数 7

ひとこと要約

本稿では、未知の環境におけるカバレッジパス計画を確率的最適停止問題として定式化し、暗黙的な細胞分割を用いた深層強化学習（DRL）を活用して、低重複で効率的なカバレッジを実現する。提案されたハイブリッドRLアプローチは、カバレッジ効率と重複低減の面で最先端の手法BA*を上回り、収束が2倍速く、多様な環境においても頑健である。

ABSTRACT

Coverage path planning in a generic known environment is shown to be NP-hard. When the environment is unknown, it becomes more challenging as the robot is required to rely on its online map information built during coverage for planning its path. A significant research effort focuses on designing heuristic or approximate algorithms that achieve reasonable performance. Such algorithms have sub-optimal performance in terms of covering the area or the cost of coverage, e.g., coverage time or energy consumption. In this paper, we provide a systematic analysis of the coverage problem and formulate it as an optimal stopping time problem, where the trade-off between coverage performance and its cost is explicitly accounted for. Next, we demonstrate that reinforcement learning (RL) techniques can be leveraged to solve the problem computationally. To this end, we provide some technical and practical considerations to facilitate the application of the RL algorithms and improve the efficiency of the solutions. Finally, through experiments in grid world environments and Gazebo simulator, we show that reinforcement learning-based algorithms efficiently cover realistic unknown indoor environments, and outperform the current state of the art.

研究の動機と目的

• 完全な幾何的知識が得られない未知の屋内環境におけるカバレッジパス計画の課題に対処すること。
• リアルタイムのロボット応用において、パスの重複とエネルギー消費を低減し、面積カバレッジを最大化すること。
• 繰り返し出現する環境に適応し、センサーノイズと運動の不確実性を学習する強化学習フレームワークを開発すること。
• 報酬形状、状態表現の設計、ハイブリッド探索戦略を通じて、サンプル効率と一般化性能を向上させること。

提案手法

• カバレッジパフォーマンスとコストのバランスを取るために、カバレッジパス計画を確率的最適停止問題として定式化する。
• ロボットのセンサ観測履歴とマップ更新履歴をコンactかつメモリ効率の良い方法で符号化する状態表現を設計する。
• カバレッジ進行度と重複ペナルティに基づく報酬関数を構築し、学習を加速するために報酬形状を適用する。
• 安定した学習を実現するために、優先順位付き経験再生（DQN+PER）と近接方策最適化（PPO）を用いる。
• 固定されたジグザグ運動ポリシーと学習済みDRLエージェントを組み合わせることで、行動空間を縮小し収束を向上させるハイブリッドRLアプローチを導入する。
• ハイパーパramータ感度分析を用いて、バッチサイズ、学習率、メモリサイズなどのパラメータが性能に与える影響を同定する。

実験結果

リサーチクエスチョン

• RQ1 部分的観測とセンサーノイズが存在する未知環境におけるカバレッジパス計画に、強化学習を効果的に適用できるか？
• RQ2 提案された状態表現と報酬関数設計は、学習効率とカバレッジパフォーマンスにどのように影響を与えるか？
• RQ3 ヒューリスティックな運動ポリシー（ジグザグ）と学習済みRLポリシーを組み合わせることで、収束速度と一般化性能にどのような影響を与えるか？
• RQ4 完全に学習されたポリシーやヒューリスティック手法と比較して、RLエージェントは未観測環境にどのように一般化するか？
• RQ5 DRLベースのカバレッジポリシーの性能と頑健性に最も顕著に影響を与えるハイパーパramータは何か？

主な発見

• ハイブリッドRLエージェントは、3つのシミュレーテッド環境で平均90.59%のカバレッジを達成し、BA*と同等の性能を示したが、重複率を50%以上低減した。
• ハイブリッドアプローチは平均重複率を14.38–21.48%に低減したのに対し、標準DQN+PERでは32.69–33.25%、BA*では80.61–91.70%であった。
• 固定ジグザグ運動による制約のおかげで、行動空間が縮小されたため、ハイブリッドRLエージェントは標準DQN+PERに比べて2桁の速度で収束した。
• 本手法は、特にバッチサイズ、PPOエポック数、PERパラメータに関して、広範なハイパーパramータ範囲で頑健であった。
• 報酬形状と割引率の使用は、訓練の安定性を著しく向上させ、勾配分散を低減した。
• 状態表現は、完全なマップ再構築なしに、歴史的マップ情報を効果的に捉えており、エージェントが情報に基づいた意思決定を可能にした。