[논문 리뷰] Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning

Binyu Wang, Zhe Liu외 2명|arXiv (Cornell University)|2020. 05. 11.

Reinforcement Learning in Robotics참고 문헌 22인용 수 15

한 줄 요약

이 논문은 동적 환경에서 이동 로봇의 경로 계획을 위한 글로벌하게 지도된 강화학습 프레임워크인 G2RL을 제안한다. 고정된 글로벌 경로(예: A*)와 밀도 높은 환경 무관 보상(환경에 관계없이 동일한 보상)을 사용하는 국소적 딥 Q네트워크를 통합함으로써, 확장 가능하고 분산형이며 일반화 가능한 주행을 가능하게 한다. 이는 기존의 분산형 방법들을 능가하며, 글로벌 경로 지식이 필요 없이도 다중 로봇 시나리오에서 중심 집중형 기준 성능에 도달한다.

ABSTRACT

Path planning for mobile robots in large dynamic environments is a challenging problem, as the robots are required to efficiently reach their given goals while simultaneously avoiding potential conflicts with other robots or dynamic objects. In the presence of dynamic obstacles, traditional solutions usually employ re-planning strategies, which re-call a planning algorithm to search for an alternative path whenever the robot encounters a conflict. However, such re-planning strategies often cause unnecessary detours. To address this issue, we propose a learning-based technique that exploits environmental spatio-temporal information. Different from existing learning-based methods, we introduce a globally guided reinforcement learning approach (G2RL), which incorporates a novel reward structure that generalizes to arbitrary environments. We apply G2RL to solve the multi-robot path planning problem in a fully distributed reactive manner. We evaluate our method across different map types, obstacle densities, and the number of robots. Experimental results show that G2RL generalizes well, outperforming existing distributed methods, and performing very similarly to fully centralized state-of-the-art benchmarks.

연구 동기 및 목표

• 기존의 재계획 수립 및 학습 기반 방법이 동적이고 대규모 환경에서 가지는 한계를 해결하기 위해.
• 로봇 경로 계획을 위한 딥 강화학습에서 희소 보상과 열악한 일반화 성능 문제를 해결하기 위해.
• 글로벌 경로 정보가 필요 없이도 확장 가능하고 완전히 분산된 다중 로봇 경로 계획을 가능하게 하기 위해.
• 다양한 환경에서 일반화 가능한 학습을 지원하는 보상 구조를 개발하기 위해.

제안 방법

• 이 방법은 계층적 프레임워크를 사용한다: 고정된 지도(예: A*를 통한)가 안내 역할을 하며, 국소적 관측 기반으로 행동을 학습하는 국소적 DQN 에이전트가 운영된다.
• 새로운 보상 함수는 글로벌 경로와의 거리와 목표 향한 진전도를 조합하여, 밀도 높고 환경에 관계없는 보상을 제공한다.
• 국소적 RL 에이전트는 정적 및 동적 장애물을 포함한 국소적 시야를 관측함으로써 실시간 충돌 회피가 가능하다.
• 이 방법은 완전히 분산형이다. 로봇 간 통신이나 경로 공유 없이도 로봇 수에 비례하는 선형 확장 가능성을 확보한다.
• 동일한 단일 로봇 학습 모델이 재학습 없이 다중 로봇 환경에 직접 적용된다.
• 이 방법은 지도 유형, 장애물 밀도, 로봇 수의 변화에 관계없이 아키텍처나 보상 함수를 변경하지 않고도 일반화된다.

실험 결과

연구 질문

• RQ1 학습 기반 접근이 재학습 없이도 다양한 미리 보지 않은 환경에서 일반화될 수 있는가?
• RQ2 글로벌하게 지도된 RL은 재계획 수립 및 다른 분산형 RL 방법과 비교해 동적 다중 로봇 경로 계획에서 어떻게 성능을 발휘하는가?
• RQ3 고정된 크기의 모델이 대규모 환경에서 중심 집중형 전지식 플래너와 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 밀도 높은 환경 무관 보상 함수는 희소 보상 경로 계획 과제에서 샘플 효율성과 일반화 성능을 향상시키는가?

주요 결과

• 모든 테스트 지도 유형과 장애물 밀도에서 G2RL은 성공률과 플로우타임 측면에서 국소 및 글로벌 재계획 수립 방법을 모두 능가한다.
• 다중 로봇 경로 계획에서 G2RL은 ECBS와 HCA*와 유사한 성공률를 달성한다. 이는 중심 집중형이며 모든 로봇 경로를 전지식으로 가진다.
• 혼잡하고 복잡한 환경에서 G2RL은 Discrete-ORCA와 PRIMAL를 능가하며, 특히 PRIMAL가 실패하는 데드락 상황을 효과적으로 방지한다.
• 40×40 지도에서 최대 128台의 로봇과 다양한 정적 장애물 밀도(0.15에서 0.45)에서도 일관된 성능 유지를 유지한다.
• 단계당 계산 시간은 PRIMAL 및 Discrete-ORCA와 유사하게 정규화되어 있으며, 고밀도 상황에서 G2RL가 더 뛰어난 내구성을 보인다.
• 이 방법은 효과적으로 일반화된다: 단일 로봇으로 학습한 모델이 미세조정 없이도 다중 로봇 환경에 직접 적용된다.