[논문 리뷰] DreamWaQ: Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning

I Made Aswin Nahrendra, Byeongho Yu외 1명|arXiv (Cornell University)|2023. 01. 25.

Robotic Locomotion and Control인용 수 7

한 줄 요약

DreamWaQ는 프prioprioceptive 센서만을 사용하여 고도, 마찰, 장애물과 같은 지면 특성을 암묵적으로 상상함으로써 다각형 로봇이 강건한 운동 능력을 습득하도록 하는 딥 강화학습 프레임워크를 제안한다. 이 방법은 제로샷 시뮬레이션-진짜 전이를 달성하고, 산기지, 계단, 흙탕물 기름진 경사지와 같은 도전적인 자연 및 인공 지형에서 465미터에 이르는 지속적인 실외 주행을 실현하였으며, 실제 환경 조건에서 높은 내구성과 적응성을 확보하였다.

ABSTRACT

Quadrupedal robots resemble the physical ability of legged animals to walk through unstructured terrains. However, designing a controller for quadrupedal robots poses a significant challenge due to their functional complexity and requires adaptation to various terrains. Recently, deep reinforcement learning, inspired by how legged animals learn to walk from their experiences, has been utilized to synthesize natural quadrupedal locomotion. However, state-of-the-art methods strongly depend on a complex and reliable sensing framework. Furthermore, prior works that rely only on proprioception have shown a limited demonstration for overcoming challenging terrains, especially for a long distance. This work proposes a novel quadrupedal locomotion learning framework that allows quadrupedal robots to walk through challenging terrains, even with limited sensing modalities. The proposed framework was validated in real-world outdoor environments with varying conditions within a single run for a long distance.

연구 동기 및 목표

• 제한된 감지 모odal리티를 가진 다각형 로봇이 비정형적이고 동적인 지형을 탐색할 수 있도록 하는 도전 과제를 해결한다.
• 프로피오셉티브 센서만으로 지형 추정에서 발생하는 표현 학습의 한계를 극복하기 위해 정책과 환경 컨텍스트를 함께 학습한다.
• 외부 감지 센서(예: 카메라 또는 LiDAR)에 의존하지 않고도 실제 실외 환경에서 효과적으로 작동하는 강건하고 일반화 가능한 운동 정책을 개발한다.
• 카메라나 LiDAR와 같은 외부 센서 없이도 다양한 도전적인 지형, 예를 들어 경사, 계단, 변형 가능한 지면에서 장거리 지속 운동을 구현한다.
• 작고 경량의 Unitree A1 로봇에서 프레임워크를 검증하여 실제 실외 배치에서 전례 없는 내구성과 적응성을 확보한다.

제안 방법

• 프로피오셉티브 피드백만으로도 지형 특성(예: 고도도, 마찰, 복귀성)을 암묵적으로 추론할 수 있도록 하는 비대칭 액터-크리틱 아키텍처를 제안한다.
• IMU와 관절 인코더 데이터만을 사용하여 신체 상태와 환경 컨텍스트를 함께 추정하는 컨텍스트 보조 추정 네트워크(CENet)를 도입한다.
• 에이전트가 상호작용을 통해 지형 특성을 추론해야 하는 부분 관찰(POMDP) 설정을 사용하여 시뮬레이션에서 정책을 훈련한다.
• 불확실성 기반으로 탐색을 동적으로 조정함으로써 훈련 중 정책의 강건성을 향상시키기 위해 적응형 부트스트랩핑 방법(AdaBoot)을 구현한다.
• 명시적인 지형 분할이나 분류를 피하기 위해 지형 특성을 암묵적으로 모델링하기 위해 잠재 공간 표현을 사용한다.
• 실제 지형 변동성과 교란을 모의하는 다양한 시뮬레이션 환경에서 정책을 훈련함으로써 제로샷 시뮬레이션-진짜 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 카메라나 LiDAR와 같은 외부 센서를 사용하지 않고도 다각형 로봇이 프로피오셉티브 센서만으로 강건한 운동 능력을 습득할 수 있는가?
• RQ2 딥 강화학습 정책은 어떻게 프로피오셉티브 피드백에서 마찰, 고도, 장애물 존재와 같은 복잡한 지형 특성을 암묵적으로 추론할 수 있는가?
• RQ3 시뮬레이션에서 훈련된 정책가 실세계의 비정형 지형으로 일반화할 수 있는 정도는 어느 정도이며, 보정 또는 도메인 랜덤라이제이션 없이도 가능한가?
• RQ4 신체 상태와 환경 컨텍스트를 함께 추정하는 것이 정책의 강건성과 적응성 향상에 어떤 역할을 하는가?
• RQ5 Unitree A1와 같은 경량이고 소형의 로봇이 외부 센서 없이도 다양한 도전적인 실외 지형에서 장거리 운동을 지속할 수 있는가?

주요 결과

• DreamWaQ는 Unitree A1 로봇이 22미터의 고도 상승을 보이는 산기지에서 465미터의 실외 경로를 주행하여 10분 이내에 정상에 도달하도록 하였다.
• 로봇은 자연 지형, 예를 들어 흙탕물 기름진 경사, 계단, 두꺼운 식생을 성공적으로 횡단하였으며, 실시간으로 걸음걸이와 관절 출력을 조정하였다.
• 비 오는 조건에서도 미끄러운 계단과 진흙 속 깊은 발자국에도 불구하고 안정성을 유지하고 계속 걷기를 이어가며 환경적 교란에 대한 내성을 입증하였다.
• CENet를 갖춘 정책는 정확한 신체 속도 추정과 발이 미끄러지거나 땅에 빠지는 상황에 대한 빠른 적응을 달성하여 즉각적인 걸음 회복을 가능하게 하였다.
• DreamWaQ는 기준 방법보다 강건성을 높였으며, 더 높은 밀도의 추진 힘에 견디고 도전적인 조건에서 더 높은 생존율을 달성하였다.
• AdaBoot 방법은 기본 성능을 떨어뜨리지 않고도 정책의 강건성을 향상시켜 불확실성 인식 훈련에서의 효과성을 확인하였다.