[논문 리뷰] On Reward Shaping for Mobile Robot Navigation: A Reinforcement Learning and SLAM Based Approach

Nicolò Botteghi, Beril Sırmaçek외 3명|arXiv (Cornell University)|2020. 02. 10.

Robotic Path Planning Algorithms참고 문헌 14인용 수 18

한 줄 요약

이 논문은 모바일 로봇을 위한 지도 없이 작동하는 딥 강화학습(DRL) 탐색 정책을 제안하며, 훈련 중 보상 함수를 설계하기 위해 SLAM에서 유도된 장애물 지식을 활용한다. 실시간으로 지도 기반의 장애물 확신도를 보상에 통합함으로써, 에이전트는 더 안전하고 효율적인 탐색을 학습하게 되며, 미지의 환경에서 36.9% 빠른 수렴 속도와 23–45% 높은 성공률을 기록한다. 또한 실물 로봇으로의 제로샷 전이가 성공적으로 이루어졌다.

ABSTRACT

We present a map-less path planning algorithm based on Deep Reinforcement Learning (DRL) for mobile robots navigating in unknown environment that only relies on 40-dimensional raw laser data and odometry information. The planner is trained using a reward function shaped based on the online knowledge of the map of the training environment, obtained using grid-based Rao-Blackwellized particle filter, in an attempt to enhance the obstacle awareness of the agent. The agent is trained in a complex simulated environment and evaluated in two unseen ones. We show that the policy trained using the introduced reward function not only outperforms standard reward functions in terms of convergence speed, by a reduction of 36.9\% of the iteration steps, and reduction of the collision samples, but it also drastically improves the behaviour of the agent in unseen environments, respectively by 23\% in a simpler workspace and by 45\% in a more clustered one. Furthermore, the policy trained in the simulation environment can be directly and successfully transferred to the real robot. A video of our experiments can be found at: https://youtu.be/UEV7W6e6ZqI

연구 동기 및 목표

• 딥 강화학습을 사용한 지도 없는 모바일 로봇 탐색에서 샘플 효율성과 일반화 능력을 향상시키기 위해.
• DRL에서 희박한 보상 문제를 해결하기 위해 훈련 중에 SLAM에서 유도된 실시간 장애물 인식 정보를 통합하기 위해.
• 실제 차량에 대한 미세조정 없이도 시뮬레이션에서 학습된 정책을 실물의 차량에 직접 전이할 수 있도록 하기 위해.
• 장애물과의 거리와 확신도를 기반으로 보상 함수를 설계하여 장애물 회피 능력과 경로 품질을 향상시키기 위해.
• 훈련 중에만 사용되는 지도 지식이 미지의 환경에서 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 원시 40D 레이저 스캔과 온보드 측정값을 입력으로 사용하여 딥 디터민리스틱 정책 그레디언트(DDPG) 에이전트를 훈련한다.
• 격자 기반의 레이저-블랙웰라이즈드 파티클 필터가 실시간으로 SLAM을 수행하여 훈련 중에 지도와 장애물 확신도를 추정한다.
• 보상 함수는 센서의 시야 내 장애물까지의 거리의 역수를 지ap의 사후 확률에 따라 가중치를 적용하여 설계된다.
• 지도는 훈련 중에만 사용되며, 평가 또는 실물 환경 구동 시에는 사용되지 않는다.
• 에이전트는 시뮬레이션 환경에서 시행착오를 통해 연속적인 속도 명령(선형 및 각속도)을 학습한다.
• 학습된 정책은 실물의 Clearpath Jackal 로봇에 하이퍼파ram터 조정 없이 그대로 전이되었다.

실험 결과

연구 질문

• RQ1 실시간으로 유도된 SLAM 기반의 장애물 확신도를 DRL 보상 함수에 통합하면 지도 없는 탐색에서 학습 속도와 수렴 속도가 향상되는가?
• RQ2 훈련 중에 지도 지식을 기반으로 보상 함수를 설계하면, 더 복잡한 미지의 환경으로의 일반화 능력이 향상되는가?
• RQ3 시뮬레이션에서 학습된 DRL 정책이 실세계 환경에서 미세조정 없이도 성공적으로 탐색할 수 있는가?
• RQ4 제안된 보상 설계 방식은 기존의 희박한 보상과 비교해 충돌을 얼마나 줄이고 경로 품질을 향상시키는가?
• RQ5 보상 함수에 장애물 인식 정보를 통합할 경우, 안전하고 효율적인 탐색 행동이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 표준 희박한 보상 함수 대비 훈련 반복 단계 수를 36.9% 감소시켰다.
• 주 훈련 환경(Env-1)에서 표준 방법 대비 성공률이 25% 높았다.
• 미지의 환경에서, 더 단순한 작업 공간(Env-2)에서는 성공률이 23% 향상되었고, 더 높은 집합성(클러스터링)이 있는 환경(Env-3)에서는 45% 향상되었다.
• 목표에 도달하기 위해 필요한 평균 행동 수는 Env-1에서는 42.7건 감소했고, Env-2와 Env-3에서는 각각 64.2건과 13.2건 감소했다.
• 시뮬레이션에서 학습된 정책이 실물의 Clearpath Jackal 로봇으로 성공적으로 전이되어 실세계에서 충돌 없이 탐색을 수행했다. 이는 실세계에서의 미세조정 없이도 가능했다.
• 지도 기반의 장애물 확신도를 보상에 통합함으로써, 추론 시 지도 접근 없이도 사전에 장애물을 회피하는 더 안전한 행동을 학습할 수 있었다.