[논문 리뷰] Robot Navigation with Map-Based Deep Reinforcement Learning

Guangda Chen, Lifan Pan외 6명|arXiv (Cornell University)|2020. 02. 11.

Reinforcement Learning in Robotics참고 문헌 25인용 수 8

한 줄 요약

이 논문은 교육 학습(curriculum learning)과 우선순위 경험 재생(prioritized experience replay)을 사용한 듀얼 듀얼 DQN을 활용해, 자가 중심의 국소 점유 지ap을 직접 조향 명령어로 매핑하는 지ap 기반의 딥 강화 학습(Deep Reinforcement Learning, DRL) 접근법을 제안한다. 이 방법은 시뮬레이션과 실제 환경에서 안정적이고 실시간으로 장애물을 피할 수 있으며, 이전의 DRL 기반 모델 대비 성공률, 부드러움, 노이즈 내성에서 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes an end-to-end deep reinforcement learning approach for mobile robot navigation with dynamic obstacles avoidance. Using experience collected in a simulation environment, a convolutional neural network (CNN) is trained to predict proper steering actions of a robot from its egocentric local occupancy maps, which accommodate various sensors and fusion algorithms. The trained neural network is then transferred and executed on a real-world mobile robot to guide its local path planning. The new approach is evaluated both qualitatively and quantitatively in simulation and real-world robot experiments. The results show that the map-based end-to-end navigation model is easy to be deployed to a robotic platform, robust to sensor noise and outperforms other existing DRL-based models in many indicators.

연구 동기 및 목표

• 모르는 장애물이 존재하는 동적이고 혼잡한 환경에서 안전하고 견고한 이동 로봇 주행 문제를 해결한다.
• 수동적 파rameter 조정에 의존하고 새로운 시나리오에 일반화하지 못하는 전통적 주행 방법의 한계를 극복한다.
• 샘플 효율적이며 종단 간(end-to-end) 딥 강화 학습 정책을 개발하여 시뮬레이션에서 실제 환경으로의 일반화 능력을 높인다.
• 센서 노이즈에 대한 내성을 향상시키고, 완벽한 인식이나 광범위한 수동 레이블링 없이도 실시간 반응형 주행을 가능하게 한다.
• 점유 지도 입력을 사용해 훈련된 정책을 시뮬레이션에서 실제 로봇 플랫폼으로 원활하게 이식할 수 있도록 한다.

제안 방법

• 로봇의 즉각적인 환경을 표현하기 위해 2차원 레이저 스캔에서 유도된 자가 중심의 국소 점유 지도를 입력으로 사용한다.
• 표본 효율성을 향상시키기 위해 상태값과 행동값을 분리하는 듀얼 듀얼 DQN 아키텍처를 사용하여 Q-값을 추정한다.
• 높은 영향력을 가진 경험에 집중함으로써 수렴 속도를 가속화하기 위해 우선순위 경험 재생을 통합한다.
• 훈련 중 환경의 복잡성을 점진적으로 증가시켜 정책의 일반화 능력을 향상시키기 위해 교육 학습을 적용한다.
• 목표 도달과 장애물 회피를 장려하기 위해 풍부한, 희박한, 형태가 조정된 보상을 사용해 시뮬레이션 환경에서 정책을 훈련한다.
• 훈련된 정책을 훅야 UTM-30LX 레이저 레인지파인더를 장착한 실제 차량형 드리프트 로봇에 직접 이식한다.

실험 결과

연구 질문

• RQ1 지간 기반 종단 간 DRL 정책은 최소한의 인간 간섭으로 복잡하고 동적인 환경에서 안정적이고 실시간 주행을 달성할 수 있는가?
• RQ2 표준 훈련 대비 교육 학습이 DRL 기반 주행 정책의 표본 효율성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 제안된 방법은 센서 노이즈와 환경의 불확실성 존재 하에서 시뮬레이션에서 실제 환경으로의 일반화 정도는 어느 정도인가?
• RQ4 성공률과 궤적의 부드러움 측면에서 지간 기반 DRL 정책은 VFH 및 기타 DRL 기반 기준 모델 대비 어떻게 성능을 냈는가?
• RQ5 센서 노이즈가 학습된 정책의 내성에 미치는 영향은 기존의 반응형 방법과 비교해 어떠한가?

주요 결과

• 교육 학습을 적용한 DQN 정책는 복잡한 장애물 시나리오에서 94%의 성공률을 기록했으며, 일반 DQN(91%) 및 1D 컨볼루션을 사용한 PPO(85%)를 능가했다.
• 교육 학습 DQN는 평균 도달 단계를 26.13으로 줄여, PPO(40.19)와 일반 DQN(27.76)보다 훨씬 더 효율적인 주행을 나타냈다.
• 평균 각속도 변화는 0.35로, PPO(0.46)와 일반 DQN(0.39)보다 더 매끄러운 궤적을 나타냈다.
• 노이즈가 있는 센서 데이터에서 훈련된 DQN 정책는 실제 환경 조건에서도 더 잘 일반화되었으며, 높은 성공률를 유지했다.
• 이 방법은 레이저 노이즈에 대해 강력한 내성을 보였으며, 전통적인 VFH 방법에 비해 성능 저하가 훨씬 덜 심했다.
• 실세계 실험을 통해 장애물과 보행자가 있는 복도에서도 성공적인 주행이 가능했으며, 정책의 이식 가능성과 실시간 성능을 검증했다.