[논문 리뷰] A review of mobile robot motion planning methods: from classical motion planning workflows to reinforcement learning-based architectures

Dong, Lu, Zichen He외 2명|arXiv (Cornell University)|2021. 08. 31.

Robotic Path Planning Algorithms참고 문헌 140인용 수 9

한 줄 요약

이 논문은 모바일 로봇의 운동 계획에 대한 종합적인 리뷰를 제공하며, 전통적인 계층적 방법과 현대의 강화학습(RL) 기반 접근법을 비교한다. 딥 RL이 지도 없이 종단 간 계획을 가능하게 하여 전역 계획과 국지 계획을 통합함으로써 동적 환경에서의 적응성을 향상시키는 방식을 강조하면서도, 보상 희소성과 샘플 효율성 등의 주요 과제를 밝혀낸다.

ABSTRACT

Motion planning is critical to realize the autonomous operation of mobile robots. As the complexity and randomness of robot application scenarios increase, the planning capability of the classical hierarchical motion planners is challenged. With the development of machine learning, deep reinforcement learning (DRL)-based motion planner has gradually become a research hotspot due to its several advantageous features. DRL-based motion planner is model-free and does not rely on the prior structured map. Most importantly, DRL-based motion planner achieves the unification of the global planner and the local planner. In this paper, we provide a systematic review of various motion planning methods. First, we summarize the representative and state-of-the-art works for each submodule of the classical motion planning architecture and analyze their performance features. Subsequently, we concentrate on summarizing RL-based motion planning approaches, including motion planners combined with RL improvements, map-free RL-based motion planners, and multi-robot cooperative planning methods. Last but not least, we analyze the urgent challenges faced by these mainstream RL-based motion planners in detail, review some state-of-the-art works for these issues, and propose suggestions for future research.

연구 동기 및 목표

• 복잡하고 동적인 환경에서 전통적 운동 계획 워크플로우의 성능와 적응성을 체계적으로 분석하기 위해.
• 최근의 RL 기반 운동 계획 기술을 검토하기 위해, 지도 없는 종단 간 학습 및 다중 로봇 협동 계획을 포함한다.
• RL 기반 계획자 적용 시 주요 과제인 보상 희소성, 샘플 효율성, 현실 갭 등을 규명하기 위해.
• RL 기반 계획자의 일반화 능력, 내구성, 실세계 적용을 향상시키기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 전역 계획자와 국지 계획자로 전통적 운동 계획을 분류하고, A*, RRT, DWA 등의 대표적 알고리즘을 분석한다.
• RL 기반 운동 계획 방법을 검토하며, 전통적 계획자를 최적화하는 데 RL을 사용하는 하이브리드 접근법과 완전한 종단 간 지도 없는 계획자 모두를 포함한다.
• 시각, 언어, 센서 데이터를 통합하여 계획 성능을 향상시키기 위한 다중모달 RL을 분석한다.
• 경로 길이, 안전성, 에너지 효율성 등의 목표를 통합 정책 학습을 통해 균형 있게 최적화하기 위한 다중작업 RL을 탐색한다.
• 가르침을 통한 학습과 인간 피드백 통합을 포함한 인간-중심 강화학습을 통해 상호작용을 향상시키는 방법을 연구한다.
• 3차원 환경에서 중심 집중형 비평가와 분산형 실행자로 구성된 다중로봇 강화학습(MARL)을 활용한 다중이종 및 다중로봇 편대 계획을 분석한다.

실험 결과

연구 질문

• RQ1 구조화된 환경와 동적 환경에서 전통적 운동 계획 워크플로우의 성능와 적응성은 어떻게 비교될 수 있는가?
• RQ2 강화학습이 사전 지도나 계층적 분해에 의존하지 않고 운동 계획을 어떻게 향상시킬 수 있는가?
• RQ3 실세계 적용 시 RL 기반 계획자 배치를 제한하는 주요 과제들 — 보상 희소성과 샘플 효율성 등 — 은 무엇인가?
• RQ4 다중작업 및 다중모달 학습은 종단 간 RL 기반 계획자의 일반화 능력과 내구성을 어떻게 향상시킬 수 있는가?
• RQ5 인간-중심 상호작용과 다중로봇 협동은 실시간, 적응형 운동 계획을 어떻게 발전시킬 수 있는가?

주요 결과

• RL 기반 운동 계획자는 전역 계획과 국지 계획을 통합함으로써 별도의 계층적 모듈이 필요 없이 종단 간 계획을 달성한다.
• 지도 없는 RL 기반 계획자들은 실시간 지도 작성에 비현실적인 비정형 및 동적 환경에서 향상된 적응성을 보인다.
• 다중모달 RL은 시각적 및 언어 입력을 통합함으로써 지시 기반의 복잡한 작업에서 계획 성능을 향상시킨다.
• 다중작업 RL은 공유 정책 학습을 통해 경로 길이, 안전성, 에너지 효율성 등의 목표를 균형 있게 최적화할 수 있다.
• 인간-중심 접근법, 특히 가르침을 통한 학습을 포함한 방법들은 예측 불가능한 환경에서 반응성과 적응성을 향상시킨다.
• MRL을 활용한 다중이종 및 다중로봇 편대 계획은 사전 지도 없이도 3차원 공간에서 동적 작업 할당과 공동 의사결정을 가능하게 한다.