[논문 리뷰] Zero-Shot Terrain Generalization for Visual Locomotion Policies

Alejandro Escontrela, George Yu외 3명|arXiv (Cornell University)|2020. 11. 11.

Robotic Locomotion and Control참고 문헌 26인용 수 8

한 줄 요약

이 논문은 정형화된 고도맵이나 수동적 인식 전처리에 의존하지 않고, 절차적 지형 생성과 원시 LiDAR 입력을 활용한 다중 과제 강화학습을 사용하여 종단간 시각 이동 정책을 제안한다. 이를 통해 4족 보행 로봇은 계단, 난이도 높은 지형, 동적 실내 환경 등 13종의 다양한 지형에서 훈련 없이도 뛰어난 제로샷 일반화 성능을 달성한다.

ABSTRACT

Legged robots have unparalleled mobility on unstructured terrains. However, it remains an open challenge to design locomotion controllers that can operate in a large variety of environments. In this paper, we address this challenge of automatically learning locomotion controllers that can generalize to a diverse collection of terrains often encountered in the real world. We frame this challenge as a multi-task reinforcement learning problem and define each task as a type of terrain that the robot needs to traverse. We propose an end-to-end learning approach that makes direct use of the raw exteroceptive inputs gathered from a simulated 3D LiDAR sensor, thus circumventing the need for ground-truth heightmaps or preprocessing of perception information. As a result, the learned controller demonstrates excellent zero-shot generalization capabilities and can navigate 13 different environments, including stairs, rugged land, cluttered offices, and indoor spaces with humans.

연구 동기 및 목표

• 다양한 비정형 지형에서 수동 엔지니어링 없이도 다리가 달린 로봇이 일반화할 수 있도록 훈련하는 데 도전한다.
• 이전 강화학습 정책이 새로운 환경에 대해 일반화 성능이 떨어지거나 작업에 특화된 튜닝이 필요하다는 한계를 극복한다.
• 단일 이동 정책이 다양한 현실적이고 이전에 본 적 없는 지형에서 효과적으로 작동할 수 있도록 학습 시스템을 개발한다.
• 외부 감각 인지(LiDAR)와 궤도 조절 정책 아키텍처를 통합함으로써 제로샷 일반화 성능이 크게 향상됨을 입증한다.

제안 방법

• 각 과제가 별개의 지형 유형에 해당하는 다중 과제 부분 관측 가능 마르코프 결정 과정(POMDP)으로 다리 보행을 공식화한다.
• 복잡한 실내 및 실외 환경, 장애물, 동적 요소를 포함한 다양한 실제 지형을 효율적으로 생성하기 위해 절차적 지형 생성기를 설계한다.
• 지형 고도맵의 정확한 지도를 전처리 없이도 원시 LiDAR 스캔과 체감 상태를 직접적으로 저수준 모터 명령으로 매핑하는 종단간 시각 이동 정책을 구현한다.
• 정책 조절 궤도 생성기(PMTG) 프레임워크를 통합하여 부드럽고 순환적이며 적응 가능한 보행 패tern을 생성함으로써 정책의 강건성을 향상시킨다.
• 다양한 지형 유형에 지속적으로 노출되도록 교육 커리큘럼 스타일의 과제 분포를 사용하여 다중 과제 강화학습을 수행한다.
• 고정밀 물리 시뮬레이터와 시각적으로 현실적인 실내 스캔을 사용하여 훈련 및 제로샷 테스트 시나리오에서 정책 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 과제 강화학습을 통해 훈련된 단일 이동 정책가 훈련된 바 없는 다양한 지형에 대해 보정 없이 일반화할 수 있는가?
• RQ2 반응형 또는 체감 정보에만 의존하는 정책과 비교해 원시 외부 감각 인지(LiDAR) 입력이 제로샷 일반화에 어떤 영향을 미치는가?
• RQ3 기본 반응형 제어 정책과 비교했을 때 PMTG 기반 정책 아키텍처는 일반화 성능과 이동 품질을 어느 정도 향상시키는가?
• RQ4 다양하고 절차적으로 생성된 지형을 활용한 다중 과제 훈련 방식은 치명적인 기억 상실을 방지하고 순차적 훈련보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 제안된 시각-이동 정책는 움직이는 사람이 있는 사무실과 같은 복잡하고 혼잡하며 동적인 실내 환경을 성공적으로 탐색할 수 있는가?

주요 결과

• 제안된 시각-이동 정책는 훈련된 바 없는 난이도 높은 산악 지형에서 평균 67%의 과제 완료율을 기록하며, 단일 지형 정책(최대 28%)을 크게 능가한다.
• 다중 과제 강화학습과 절차적 지형 생성을 통해 훈련된 정책는 계단, 미로, 숲, 동적 실내 환경 등 13종의 다양한 환경에서 강력한 제로샷 일반화 성능을 보였다.
• LiDAR 입력을 제거하면 일반화 성능이 크게 떨어지며, 이는 복잡하고 기하학적으로 다양한 지형을 탐색하는 데 있어 외부 감각 인지의 필수성을 확인한다.
• PMTG 기반 정책를 반응형 정책로 대체할 경우 성능 저하가 28%에서 218%까지 발생하여, 체계적인 보행 패턴 생성이 강건성과 일반화 성능을 향상시킴을 입증한다.
• 순차적 훈련(한 번에 하나의 과제)은 치명적인 기억 상실을 유발하고 일반화 성능이 열악하여, 효과적인 정책 전이를 위해 동시에 다중 과제 훈련이 필수적임을 확인한다.
• 시각-시각 이동 정책는 더 부드럽고 적응 가능한 보행 패턴을 생성한다. 예를 들어, 불규칙한 지형에서 발자국 위치를 조절함으로써 어려운 환경, 예를 들어 절벽이나 난이도 높은 길에서도 안정적인 이동이 가능하다.