[논문 리뷰] Dynamically Feasible Deep Reinforcement Learning Policy for Robot Navigation in Dense Mobile Crowds

Utsav Patel, Nithish Kumar외 2명|arXiv (Cornell University)|2020. 10. 28.

Robotic Locomotion and Control인용 수 8

한 줄 요약

이 논문은 밀도 높은 이동 장애물 환경에서 동적으로 타당하고 부드럽고 공간 인식 능력을 갖춘 로봇 속도를 생성하기 위해 동적 윈도우 방법(DWA)과 강화학습 기반 딥러닝(DRL)을 융합한 하이브리드 딥 강화학습 정책인 DWA-RL을 제안한다. 과거의 타당한 속도와 장애물 비용을 코딩한 저차원 관측 공간을 사용하고, 장애물의 움직임 방향을 피하는 것을 장려하는 새로운 보상 함수를 도입함으로써, 최신 기술 대비 충돌은 최대 33% 감소하고 동역학 제약 위반은 최대 61% 감소시킨다.

ABSTRACT

We present a novel Deep Reinforcement Learning (DRL) based policy to compute dynamically feasible and spatially aware velocities for a robot navigating among mobile obstacles. Our approach combines the benefits of the Dynamic Window Approach (DWA) in terms of satisfying the robot's dynamics constraints with state-of-the-art DRL-based navigation methods that can handle moving obstacles and pedestrians well. Our formulation achieves these goals by embedding the environmental obstacles' motions in a novel low-dimensional observation space. It also uses a novel reward function to positively reinforce velocities that move the robot away from the obstacle's heading direction leading to significantly lower number of collisions. We evaluate our method in realistic 3-D simulated environments and on a real differential drive robot in challenging dense indoor scenarios with several walking pedestrians. We compare our method with state-of-the-art collision avoidance methods and observe significant improvements in terms of success rate (up to 33\\% increase), number of dynamics constraint violations (up to 61\\% decrease), and smoothness. We also conduct ablation studies to highlight the advantages of our observation space formulation, and reward structure.

연구 동기 및 목표

• 밀도 높은 이동 장애물 환경에서 로봇의 동적으로 타당하고 부드러운 속도를 생성하는 데 도전 과제를 해결하기 위해.
• 기존 DWA와 최신 DRL 기반 주행 방법에 비해 동적 환경에서의 충돌 회피 성능을 향상시키기 위해.
• 저차원의 물리적 특성을 반영한 관측 공간을 사용하여 학습 시간을 단축하고 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시키기 위해.
• 장애물의 움직임 방향에서 멀어지는 동작을 장려하는 보상 함수를 설계하여 공간 인식 능력을 향상시키기 위해.
• 주행 중 로봇의 동역학 제약(가속도 및 비홀로노믹 제약)이 항상 만족되도록 보장하기 위해.

제안 방법

• 이 방법은 로봇의 타당한 속도 집합과 과거 n단계 동안의 장애물/목표 정렬 비용을 조합한 새로운 저차원 관측 공간을 사용하며, 이는 DWA의 동적 타당성 보장을 유지한다.
• 장애물 운동의 시간적 변화를 관측 공간에 통합하여 정책이 이동하는 장애물을 더 효과적으로 예측하고 반응할 수 있도록 한다.
• 장애물의 머리 방향에서 멀어지는 속도를 긍정적으로 보상하는 맞춤형 보상 함수를 설계하여 공간 인식 능력이 향상된 주행을 유도한다.
• 관측 결과를 동적으로 타당한 제어 명령으로 매핑하기 위해 컨볼루션 신경망을 사용하여 딥 강화학습을 통해 정책을 학습시킨다.
• 모든 생성된 속도가 로봇의 물리적 제한(최대/최소 선속도 및 각속도) 내에 항상 존재하도록 보장하여 매끄럽고 실행 가능한 궤적을 확보한다.
• 고정밀 3차원 시뮬레이션과 2D 라이다를 사용한 실제 차량형 드라이브 로봇을 통해 평가하여, 시뮬레이션에서 실제 환경으로의 전이 성능이 뛰어나다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 밀도 높은 이동 장애물 환경에서 로봇 운동 제약 조건을 준수하면서 동적으로 타당한 속도를 생성할 수 있는 DRL 기반 정책을 학습시킬 수 있는가?
• RQ2 RGB 또는 깊이 이미지와 같은 고차원 입력에 비해, 시간에 따라 변화하는 저차원 관측 공간은 충돌 회피 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 장애물의 움직임 방향을 피하는 것을 장려하는 보상 함수는 충돌 빈도를 어느 정도 감소시키는가?
• RQ4 제안된 방법은 기존의 고전적 DWA와 최신 DRL 기반 주행 방법에 비해 성공률, 부드러움, 제약 준수 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 실제 실내 동적 환경에서의 로봇 주행을 위한 시뮬레이션에서 실제 환경으로의 구현 성능은 어떠한가?

주요 결과

• DWA-RL은 밀도 높은 동적 환경에서 DWA 대비 33% 높은 성공률을 기록하여 충돌을 크게 줄였다.
• 최신 DRL 방법에 비해 동역학 제약 위반을 최대 61% 감소시켜 더 매끄럽고 현실적인 궤적을 확보했다.
• 장애물과 목표 비용을 별도로 인코딩한 4행렬 관측 공간 방식이 장애물과 목표 비용을 합산한 3행렬 버전보다 우수하여, 조건이 복잡한 진로에서 성공률을 0.82에서 1.0으로 상향시켰다.
• 속도 궤적도면을 통해 DWA-RL이 생성한 속도가 항상 로봇의 물리적 제한 내에 존재하는 것으로 확인되었으며, 기준 방법은 빈번히 이러한 제약을 위반하는 것으로 나타났다.
• 저차원 관측 공간 덕분에 학습 시간이 크게 단축되었고, Turtlebot 2에서 시뮬레이션에서 실제 환경으로의 일반화 성능도 뛰어났다.
• 단절 실험 결과에 따르면, 새로운 관측 공간과 보상 함수 설계가 성능 향상에 핵심적인 역할을 하며, 각 구성 요소가 충돌 회피와 동역학 타당성 향상에 기여하는 것으로 확인되었다.