[論文レビュー] Autonomous Navigation of Unmanned Vehicle Through Deep Reinforcement Learning

Letian Xu, Jiabei Liu+4 more|arXiv (Cornell University)|Jul 18, 2024

Robotic Path Planning Algorithms被引用数 6

ひとこと要約

本論文は Deep Deterministic Policy Gradient (DDPG) を用いて Ackermann ロボットの自律ナビゲーションを可能にし、シミュレーションにおいて DQN および DDQN よりもパスプランニング性能が向上することを示している。

ABSTRACT

This paper explores the method of achieving autonomous navigation of unmanned vehicles through Deep Reinforcement Learning (DRL). The focus is on using the Deep Deterministic Policy Gradient (DDPG) algorithm to address issues in high-dimensional continuous action spaces. The paper details the model of a Ackermann robot and the structure and application of the DDPG algorithm. Experiments were conducted in a simulation environment to verify the feasibility of the improved algorithm. The results demonstrate that the DDPG algorithm outperforms traditional Deep Q-Network (DQN) and Double Deep Q-Network (DDQN) algorithms in path planning tasks.

研究の動機と目的

• 高次元の連続アクション空間を持つ無人車の自律ナビゲーションを動機づける。
• ステアリングと機械運動制御に対する DRL、特に DDPG の有効性を検証する。
• Ackermann 型に近いロボットをモデル化し、DRL 制御フレームワークと統合する。
• シミュレーション実験を通じて実現性を検証する。
• DRL ベースのナビゲーションを従来の値ベース DRL 手法（DQN/DDQN）と比較する。

提案手法

• シミュレーテッド環境で Ackermann ロボットを制御するために DDPG アルゴリズムを適用する。
• 連続アクション空間のためのネットワーク構造とトレーニング手順を開発する。
• パスプランニング性能を評価するためのシミュレーション実験を実施する。
• DQN および DDQN のベースラインと比較して性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 DDPG は連続アクション空間における Ackermann ロボットの自律ナビゲーションを効果的に解決できるか。
• RQ2 シミュレーションにおけるパスプランニング課題において DDPG は DQN/DDQN とどう比較されるか。
• RQ3 自動運転における高次元連続制御へ DRL を適用する際の実務上の考慮事項は何か。

主な発見

• DDPG はシミュレーション環境内のパスプランニング課題で従来の DQN および DDQN アルゴリズムを上回る。
• 本研究は高度化したアルゴリズムによる無人車の自律ナビゲーションの実現可能性を示している。
• 本分野における高次元連続アクション空間に対する DDPG の適用性をシミュレーション結果が裏付けている。