[논문 리뷰] Deep Reinforcement Learning to Acquire Navigation Skills for Wheel-Legged Robots in Complex Environments

Xi Chen, Ali Ghadirzadeh외 2명|arXiv (Cornell University)|2018. 04. 27.

Reinforcement Learning in Robotics참고 문헌 20인용 수 8

한 줄 요약

이 논문은 복잡한 휠레깅드 로봇 주행을 다룰 수 있는 하위 행동들로 분해하고 도메인 랜덤라이제이션을 사용하여 샘플 효율성과 작업 관련 주의를 향상시키는 딥 강화학습 접근법을 제안한다. 높이 맵 관측치에서 모터 명령으로 매핑하는 정책을 학습하여 혼잡한 환경에서도 안정적인 주행이 가능하게 하며, 궤적 품질과 장애물 인식 능력이 향상된다. 이로 인해 최신 기술 대비 20% 높은 성공률을 달성한다.

ABSTRACT

Mobile robot navigation in complex and dynamic environments is a challenging but important problem. Reinforcement learning approaches fail to solve these tasks efficiently due to reward sparsities, temporal complexities and high-dimensionality of sensorimotor spaces which are inherent in such problems. We present a novel approach to train action policies to acquire navigation skills for wheel-legged robots using deep reinforcement learning. The policy maps height-map image observations to motor commands to navigate to a target position while avoiding obstacles. We propose to acquire the multifaceted navigation skill by learning and exploiting a number of manageable navigation behaviors. We also introduce a domain randomization technique to improve the versatility of the training samples. We demonstrate experimentally a significant improvement in terms of data-efficiency, success rate, robustness against irrelevant sensory data, and also the quality of the maneuver skills.

연구 동기 및 목표

• 딥 강화학습을 통한 이동 로봇 주행에서 데이터 비효율성, 희박한 보상, 시간적 신용 배분 문제를 해결하기 위해.
• 복잡한 장애물이 있는 고차원적이고 동적인 환경에서 정책의 일반화 능력과 강건성을 향상시키기 위해.
• 휠레깅드 로봇이 좁거나 불규칙한 지형을 지나기 위해 몸체 재구성(예: 들어 올리기, 날씬하게 하기)을 포함한 주행 기술을 학습할 수 있도록 하기 위해.
• 로봇의 경로에서 장애물과 같은 작업 관련 감각 자료에만 주의를 기울이고, 관련 없는 자료는 무시하도록 정책을 이끌기 위해.
• 기존의 딥 강화학습 기반 보다 뛰어난 성능을 보이며 성공률과 궤적 품질 측면에서 우수한 성능을 입증하기 위해.

제안 방법

• 주행 작업을 다룰 수 있는 여러 하위 행동들로 분해하여 정책 학습을 단순화한다.
• 성공적인 시연의 궤적 배치를 사용해 주요 정책을 학습시켜 샘플 효율성을 높이고 희박한 보상 문제를 완화한다.
• 환경 매개변수(예: 장애물 위치, 질감 등)를 다양하게 변형함으로써 훈련 데이터를 증강하기 위해 도메인 랜덤라이제이션을 적용한다. 이는 정책의 강건성과 일반화 능력을 향상시킨다.
• 정책이 높이 맵 이미지를 직접 모터 명령으로 매핑함으로써 수작업으로 설계된 특징 없이 엔드 투 엔드의 시각-제어 학습을 가능하게 한다.
• 2차 정책을 먼저 학습시키고, 그 결과로 생성된 고품질 궤적을 주요 정책의 훈련에 활용하는 커리큘럼 스타일의 훈련 전략을 사용한다.
• 장애물을 제거했을 때 궤적 변화를 측정함으로써 정책이 작업에 관련된 장애물(예: 길을 막는 요소)에만 집중하도록 학습한다.

실험 결과

연구 질문

• RQ1 복잡한 주행 작업을 하위 행동들로 분해하면 딥 강화학습을 통한 휠레깅드 로봇 주행에서 샘플 효율성과 성공률이 향상되는가?
• RQ2 도메인 랜덤라이제이션은 시각 기반 주행에서 정책의 일반화 능력을 향상시키고, 관련 없는 감각 입력에 대한 의존도를 줄이는 데 어떻게 기여하는가?
• RQ3 딥 강화학습 정책이 장애물 등 경로상의 작업 관련 환경 요소에만 집중하는 정도는 어느 정도인가?
• RQ4 성공적인 시연의 궤적 배치를 사용하면 표준 강화학습 훈련 대비 주요 정책의 성공률과 궤적 품질이 향상되는가?
• RQ5 제안된 방법은 복잡하고 동적인 환경에서 최신 기술 대비 성공률과 강건성 측면에서 모두 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 도전적인 주행 과제에서 최신 기술 대비 20% 높은 성공률을 달성한다.
• 성공적인 궤적 배치를 사용함으로써 충돌 없는 궤적 생성 성공률이 기준선의 55%에서 80%로 향상되었다.
• 제안된 방법이 생성한 궤적은 기준선 대비 평균적으로 10단계 더 짧아, 더 높은 효율성을 보였다.
• 정책은 경로를 막는 장애물이나 현재 궤적 근처의 장애물에만 주의를 기울이는 것을 성공적으로 학습했으며, 먼 곳이나 관련 없는 장애물은 무시했다.
• 장애물을 시나리오에서 제거했을 때도 일관된 성능을 보여, 정책이 관련 없는 감각 데이터에 대해 강건함을 입증했다.
• 주요 정책과 보조 정책의 학습 곡선은 둘 다 매끄럽고 지속적인 향상을 보이며 안정적인 학습 동역학을 나타냈다.