[论文解读] Autonomous Navigation of Unmanned Vehicle Through Deep Reinforcement Learning

Letian Xu, Jiabei Liu+4 more|arXiv (Cornell University)|Jul 18, 2024

Robotic Path Planning Algorithms被引用 6

一句话总结

本文使用 Deep Deterministic Policy Gradient (DDPG) 来实现 Ackermann 型机器人 的自主导航，在仿真中相对于 DQN 和 DDQN 展示了改进的路径规划性能。

ABSTRACT

This paper explores the method of achieving autonomous navigation of unmanned vehicles through Deep Reinforcement Learning (DRL). The focus is on using the Deep Deterministic Policy Gradient (DDPG) algorithm to address issues in high-dimensional continuous action spaces. The paper details the model of a Ackermann robot and the structure and application of the DDPG algorithm. Experiments were conducted in a simulation environment to verify the feasibility of the improved algorithm. The results demonstrate that the DDPG algorithm outperforms traditional Deep Q-Network (DQN) and Double Deep Q-Network (DDQN) algorithms in path planning tasks.

研究动机与目标

• 在高维连续动作空间中推动无人车辆的自主导航。
• 研究深度强化学习（DRL），特别是 DDPG，在转向与运动控制方面的有效性。
• 对一个 Ackermann 式样机器人建模并将其与 DRL 控制框架整合。
• 通过仿真实验验证可行性。
• 将基于 DRL 的导航与传统的基于值的 DRL 方法（DQN/DDQN）进行比较。

提出的方法

• 在模拟环境中应用 DDPG 算法来控制一个 Ackermann 型机器人。
• 为连续动作空间开发网络结构和训练过程。
• 在仿真中进行实验以评估路径规划性能。
• 与 DQN 和 DDQN 基线进行基准比较以评估性能提升。

实验结果

研究问题

• RQ1 DDPG 能否在连续动作空间中有效解决 Ackermann 型机器人的自主导航？
• RQ2 在仿真中的路径规划任务中，DDPG 与 DQN/DDQN 的比较如何？
• RQ3 在自主导航中将 DRL 应用于高维连续控制时有哪些实际考虑？

主要发现

• DDPG 在模拟环境中的路径规划任务中优于传统的 DQN 和 DDQN 算法。
• 本研究证明了该改进算法在无人车辆自主导航中的可行性。
• 仿真结果支持 DDPG 适用于该领域中的高维连续动作空间。