[論文レビュー] Deep Reinforcement Learning for Motion Planning of Mobile Robots

Leonid Butyrev, Thorsten Edelhäußer+1 more|arXiv (Cornell University)|Dec 19, 2019

Robotic Path Planning Algorithms参考文献 23被引用数 13

ひとこと要約

本稿では、連続的な状態空間と行動空間において、非ホロノミックな移動ロボットのリアルタイムで運動力学的に実行可能な軌道を生成するために、Deep Deterministic Policy Gradient (DDPG) を用いた深層強化学習（DRL）に基づく運動計画フレームワークを提案する。本手法は、問題の複雑さが増す中でも高い成功率（最大97.6％）を達成し、動的環境下でもスプラインベースのベースラインと比較して時間効率と制約遵守性に優れている。

ABSTRACT

This paper presents a novel motion and trajectory planning algorithm for nonholonomic mobile robots that uses recent advances in deep reinforcement learning. Starting from a random initial state, i.e., position, velocity and orientation, the robot reaches an arbitrary target state while taking both kinematic and dynamic constraints into account. Our deep reinforcement learning agent not only processes a continuous state space it also executes continuous actions, i.e., the acceleration of wheels and the adaptation of the steering angle. We evaluate our motion and trajectory planning on a mobile robot with a differential drive in a simulation environment.

研究の動機と目的

• 頻繁なゴールの更新が生じる非常に動的環境下における、移動ロボットのリアルタイム運動計画の課題に対処すること。
• 最適性、完全性、制約遵守性のいずれかを犠牲にする傾向があるサンプリングベースおよび補間ベースの手法の限界を克服すること。
• 事前に計算された運動プリミティブを必要とせず、状態観測から直接実行可能な軌道を生成するDRLエージェントを介して、連続的かつリアルタイムな制御を可能にすること。
• 軌道実行中、常に運動学的および動的制約が満たされることを保証すること。
• 継続的に更新されるターゲット状態を伴う、動的でサッカーのようなシナリオにおける性能を評価すること。

提案手法

• 連続的な状態空間と行動空間を持つシミュレーテッド環境で、Deep Deterministic Policy Gradient (DDPG) エージェントを訓練する。
• 状態表現には位置、速度、姿勢、およびターゲット状態（位置、速度、姿勢）が含まれ、最も複雑なケースでは4次元の状態空間を形成する。
• 行動は連続的な制御命令である：ホイールの加速度とステアリング角の調整。
• ターゲット状態への到達誤差を最小化し、滑らかさと制約遵守を促進する、カスタムの報酬関数を採用する。
• 物理的ダイナミクス、特に差動駆動ロボットの慣性と非ホロノミー制約をモデル化した環境を用いる。
• 経験リプレイとターゲットネットワークを用いて学習の安定化を図る、試行錯誤に基づく訓練手法を採用する。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された運動プリミティブを必要とせず、連続的な状態空間と行動空間において、DRLエージェントが運動力学的に実行可能な軌道を学習できるか。
• RQ2 時間効率性と制約遵守性という観点から、DRLベースのプランナはスプラインベースのベースラインと比較してどの程度優れているか。
• RQ3 動的ゴール更新を伴う複雑で高次元の運動計画タスクに対して、DRLエージェントはどの程度一般化可能か。
• RQ4 リアルタイム運動計画において、軌道の滑らかさ、時間効率性、制約遵守性の間にはどのようなトレードオフが生じるか。
• RQ5 物理的制約をすべて満たしながら、問題の次元が増加してもDRLエージェントは高い成功率を維持できるか。

主な発見

• 1,000回のテストエピソードにおいて、2Dでは100.0％、3Daでは99.9％、3dbでは99.0％、4Dでは97.6％の成功率を達成した。
• 平均位置誤差は2Dで0.23 mから4Dで0.39 mに増加し、角度誤差は6.3°から10.3°に上昇した。これは次元が増加するにつれて困難さが増していることを示している。
• 速度誤差は2Dで0.14 m/sから4Dで0.20 m/sに増加し、運動制御の複雑さが増していることを反映している。
• 4Dエージェントの軌道は平均してスプラインベースラインの1.29倍の長さであったが、スプラインが失敗した箇所ではすべての運動力学的制約を完全に満たしていた。
• 2D、3Da、3dbのケースでは、DRLが生成した軌道がスプラインベースラインよりも速く、平均所要時間比はそれぞれ0.66、0.81、0.81であった。
• 動的応用シナリオにおいて、4Dエージェントはすべてのゴール遷移を滑らかで制約遵守の可能な軌道で成功裏に到達したが、スプラインベースのアプローチは3番目と4番目のゴールポイント間で制約違反を起こした。