[논문 리뷰] Autonomous Navigation of Unmanned Vehicle Through Deep Reinforcement Learning

Letian Xu, Jiabei Liu외 4명|arXiv (Cornell University)|2024. 07. 18.

Robotic Path Planning Algorithms인용 수 6

한 줄 요약

이 논문은 Deep Deterministic Policy Gradient (DDPG)를 사용하여 Ackermann robot의 자율 내비게이션을 가능하게 하고, 시뮬레이션에서 DQN 및 DDQN보다 경로 계획 성능이 향상되었음을 보인다.

ABSTRACT

This paper explores the method of achieving autonomous navigation of unmanned vehicles through Deep Reinforcement Learning (DRL). The focus is on using the Deep Deterministic Policy Gradient (DDPG) algorithm to address issues in high-dimensional continuous action spaces. The paper details the model of a Ackermann robot and the structure and application of the DDPG algorithm. Experiments were conducted in a simulation environment to verify the feasibility of the improved algorithm. The results demonstrate that the DDPG algorithm outperforms traditional Deep Q-Network (DQN) and Double Deep Q-Network (DDQN) algorithms in path planning tasks.

연구 동기 및 목표

• 고차원 연속 동작 공간에서 무인 차량의 자율 내비게이션을 촉진한다.
• 조향 및 모션 제어를 위한 DRL의 효과성, 특히 DDPG를 조사한다.
• Ackermann 유사 로봇을 모델링하고 이를 DRL 제어 프레임워크와 통합한다.
• 시뮬레이션 실험을 통해 타당성을 검증한다.
• DRL 기반 내비게이션을 전통적인 가치 기반 DRL 방법(DQN/DDQN)과 비교한다.

제안 방법

• 시뮬레이션 환경에서 Ackermann robot을 제어하기 위해 DDPG 알고리즘을 적용한다.
• 연속 동작 공간을 위한 네트워크 구조 및 학습 절차를 개발한다.
• 경로 계획 성능을 평가하기 위한 시뮬레이션 실험을 수행한다.
• 성능 향상을 평가하기 위해 DQN 및 DDQN 벤치마크와 비교한다.

실험 결과

연구 질문

• RQ1 연속 동작 공간에서 DDPG가 Ackermann robot의 자율 내비게이션을 효과적으로 해결할 수 있는가?
• RQ2 시뮬레이션에서 경로 계획 작업에 대해 DDPG가 DQN/DDQN과 어떻게 비교되는가?
• RQ3 자율 내비게이션에서 고차원 연속 제어에 DRL을 적용할 때의 실용적 고려사항은 무엇인가?

주요 결과

• DDPG가 시뮬레이션 환경 내 경로 계획 작업에서 전통적인 DQN 및 DDQN 알고리즘을 능가한다.
• 본 연구는 무인 차량의 자율 내비게이션을 위한 개선된 알고리즘의 타당성을 입증한다.
• 시뮬레이션 결과는 이 영역에서 고차원 연속 동작 공간에 대해 DDPG의 적합성을 뒷받침한다.