[논문 리뷰] Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems.

Linh Kästner, Teham Buiyan외 4명|arXiv (Cornell University)|2021. 04. 08.

Robotic Path Planning Algorithms참고 문헌 20인용 수 4

한 줄 요약

이 논문은 모바일 로봇에서 장거리 주행을 위한 안전하고 효율적이며 견고한 주행을 가능하게 하기 위해 기존의 내비게이션 스택에 딥 강화학습(DRL) 기반 국소 계획기들을 통합하는 것을 제안한다. DRL의 유연성과 고전적 계획 프레임워크를 조합함으로써, 시스템은 DRL의 장기 기억 부족 및 국소 최소값 문제를 극복하며 평가 결과에서 전통적 계획기들보다 안전성, 효율성, 견고성 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Recently, mobile robots have become important tools in various industries, especially in logistics. Deep reinforcement learning emerged as an alternative planning method to replace overly conservative approaches and promises more efficient and flexible navigation. However, deep reinforcement learning approaches are not suitable for long-range navigation due to their proneness to local minima and lack of long term memory, which hinders its widespread integration into industrial applications of mobile robotics. In this paper, we propose a navigation system incorporating deep-reinforcement-learning-based local planners into conventional navigation stacks for long-range navigation. Therefore, a framework for training and testing the deep reinforcement learning algorithms along with classic approaches is presented. We evaluated our deep-reinforcement-learning-enhanced navigation system against various conventional planners and found that our system outperforms them in terms of safety, efficiency and robustness.

연구 동기 및 목표

• 국소 최소값과 장기 기억 부족으로 인한 딥 강화학습(DRL)의 장거리 주행에서의 한계를 해결하기 위해.
• 기존 내비게이션 시스템과 통합함으로써 산업용 이동 로봇에서 DRL 기반 장애물 회피의 실용적 구현을 가능하게 하기 위해.
• 전통적 계획 알고리즘과 함께 DRL 기반 계획기를 훈련하고 테스트할 수 있는 통합 프레임워크를 개발하기 위해.
• 기존 접근 방식에 비해 안전성, 효율성, 견고성 측면에서 주행 성능을 향상시키기 위해.

제안 방법

• 기존 글로벌 계획기와 DRL 기반 국소 계획기를 조합한 하이브리드 내비게이션 아키텍처를 설계하기 위해.
• 모의 환경에서 강화학습을 사용해 DRL 에이전트를 훈련시켜 장애물 회피 정책을 학습시키기 위해.
• 기존 시스템과의 호환성을 확보하기 위해 훈련된 DRL 정책을 표준 ROS 기반 내비게이션 스택에 통합하기 위해.
• 훈련 안정성 향상과 샘플 효율성 향상을 위해 커리큘럼 학습과 리워드 형상 조정을 사용하기 위해.
• DRL 에이전트가 일관된 상태 관측치(예: LiDAR 스캔)를 제공하기 위해 인식 파이프라인을 구현하기 위해.
• 표준화된 벤치마크를 사용해 DRL 향상된 시스템을 평가하고, DWA 및 TEB와 같은 전통적 계획기들과 직접 비교하기 위해.

실험 결과

연구 질문

• RQ1 DRL 기반 국소 계획기가 기존 내비게이션 스택에 효과적으로 통합되어 장거리 주행을 가능하게 할 수 있는가?
• RQ2 안전성, 효율성, 견고성 측면에서 DRL 향상된 시스템은 전통적 계획기와 비교해 어떻게 성능을 냈는가?
• RQ3 DRL 구성요소는 장애물 회피에서 보수적인 히ュ리스틱 기반 행동에 대한 의존도를 어느 정도 감소시키는가?
• RQ4 통합 과정에서 기존 산업용 로봇 소프트웨어 스택의 안정성과 호환성은 유지되는가?

주요 결과

• DRL 향상된 내비게이션 시스템은 주행 성공률과 경로 효율성 측면에서 전통적 계획기들을 뛰어넘는 성능을 보였다.
• 전통적 계획기들이 실패하거나 지나치게 보수적인 행동을 보였던 동적이고 혼잡한 환경에서도 시스템은 향상된 견고성을 보였다.
• 기존 스택에 DRL을 통합함으로써 전형적인 DRL의 국소 최소값 문제와 기억 한계 문제 없이 효과적인 장거리 주행이 가능했다.
• 프레임워크는 표준 ROS 내비게이션 스택과의 호환성을 성공적으로 유지하여 산업 현장에서의 실용적 구현을 가능하게 했다.