[논문 리뷰] Learning Semantics-Aware Locomotion Skills from Human Demonstration

Yuxiang Yang, Xiangyun Meng외 4명|arXiv (Cornell University)|2022. 06. 27.

Robotic Locomotion and Control인용 수 4

한 줄 요약

이 논문은 단지 40분의 인간 시연 데이터만을 사용하여 4족 보행 로봇을 위한 의미론적 인식 기반의 보행 스킬을 학습하는 계층적 프레임워크를 제안한다. 사전 훈련된 의미론적 인식, 속도 선택을 위한 이민 학습, 그리고 보행 패턴 선택기의 조합을 통해 시스템은 복잡한 오프로드 지형을 안전하고 효율적으로 통과할 수 있게 되었으며, 다양한 미리 보지 못한 길을 기준으로 6km 이상의 실패 없는 주행을 달성하였다.

ABSTRACT

The semantics of the environment, such as the terrain type and property, reveals important information for legged robots to adjust their behaviors. In this work, we present a framework that learns semantics-aware locomotion skills from perception for quadrupedal robots, such that the robot can traverse through complex offroad terrains with appropriate speeds and gaits using perception information. Due to the lack of high-fidelity outdoor simulation, our framework needs to be trained directly in the real world, which brings unique challenges in data efficiency and safety. To ensure sample efficiency, we pre-train the perception model with an off-road driving dataset. To avoid the risks of real-world policy exploration, we leverage human demonstration to train a speed policy that selects a desired forward speed from camera image. For maximum traversability, we pair the speed policy with a gait selector, which selects a robust locomotion gait for each forward speed. Using only 40 minutes of human demonstration data, our framework learns to adjust the speed and gait of the robot based on perceived terrain semantics, and enables the robot to walk over 6km without failure at close-to-optimal speed.

연구 동기 및 목표

• 기하학적 특징 외에도 지형의 의미론적 특성(예: 잔디, 진흙, 아스phalt)을 기반으로 보행 스타일을 사전에 적응시킬 수 있도록 다리가 달린 로봇을 가능하게 한다.
• 오프로드 환경에서의 고비용 데이터 수집과 하드웨어 위험으로 인한 실제 정책 학습의 샘플 효율성과 안전성 문제를 해결한다.
• 실제 세계에서 직접 강화 학습 탐색을 피하는 데이터 효율적이고 안전한 훈련 프레임워크를 개발한다.
• 의미론적 지형 인식을 기반으로 속도와 보행 패턴 선택을 동시에 학습시켜 통과 가능성과 내구성을 향상시킨다.
• 최소한의 인간 시연 데이터로도 예측할 수 없는 오프로드 지형에 대해 일반화 성능을 달성한다.

제안 방법

• 오프로드 주행 데이터셋을 기반으로 의미론적 세그멘테이션 네트워크를 사전 훈련하여 지형 이해를 위한 의미론적 임베딩을 추출한다.
• 사전 훈련된 네트워크의 은닉층 표현을 사용하여 인식 모델을 미세조정하여 일반화 능력과 샘플 효율성을 향상시킨다.
• RGB 이미지에서 인간 시연를 통해 속도 선택을 수집하고, 이민 학습을 통해 적절한 전진 속도를 선택하는 속도 정책을 훈련시킨다.
• 속도 정책과 함께 각 속도에 맞는 안정적인 보행 패턴을 선택하는 보행 패턴 선택기를 결합한 계층적 제어 아키텍처를 구현한다.
• 시뮬레이션 없이 Unitree A1 로봇에 종합적인 프레임워크를 구현하여 실제 세계에서의 배포를 수행한다.
• 의미론적 임베딩과 이민 학습을 활용하여 최소한의 탐색으로 실제 세계 정책 훈련을 가능하게 하며 높은 안전성을 확보한다.

실험 결과

연구 질문

• RQ1 단지 인간 시연 데이터만을 사용하여 4족 로봇이 지형의 의미론적 카테고리에 따라 보행 속도와 보행 패턴을 조절할 수 있는가?
• RQ2 의미론적 인식은 기하학적 특성만을 기반으로 하는 접근 방식에 비해 비정형 오프로드 환경에서 보행 성능을 어떻게 향상시킬 수 있는가?
• RQ3 사전 훈련된 인식 기반의 이민 학습은 실제 세계 로봇 학습에서 데이터 요구량을 얼마나 줄이고 안전성을 확보할 수 있는가?
• RQ4 이 프레임워크는 예측할 수 없는 지형에 일반화되어 다양한 외부 길에서 고속, 실패 없는 주행을 달성할 수 있는가?
• RQ5 다양한 인식 미세조정 전략(예: 은닉층 특징 사용 vs. 클래스 예측 사용)은 정책 성능에 어떤 영향을 미치는가?

주요 결과

• 프레임워크는 4족 로봇이 다양한 예측할 수 없는 외부 길을 6km 이상 실패 없이 통과할 수 있도록 성공적으로 구현하여 강력한 일반화 능력을 입증하였다.
• 단지 40분의 인간 시연 데이터만으로도 시스템은 지형의 의미론적 특성에 기반해 적절한 속도와 보행 패턴을 선택할 수 있었으며, 평탄하고 강성 있는 표면(예: 아스팔트)에서는 고속 보행을 달성하였다.
• 특히 돌이나 자갈이 많은 도로와 같은 도전적인 지형에서 제조사가 제공하는 기본 제어기보다 빠르고 안전한 성능을 보였다.
• 보행 패턴 선택기는 안정성을 크게 향상시켜, 보행 패턴 전용 정책보다 미끄러짐과 실패를 줄였다. 특히 돌 지형에서 보행 패턴 전용 정책은 두 번 미끄러졌다.
• 제거 실험 결과, 사전 훈련된 은닉층 임베딩에서의 미세조정이 가장 정확한 속도 예측과 가장 낮은 검증 오차를 제공하는 것으로 확인되었다.
• 경직된 평탄한 지형(예: 아스팔트)에서는 빠른 속도를 선택하고, 변형되거나 불규칙한 지형(예: 잔디, 진흙)에서는 느리고 조심스러운 보행 패턴을 선택함으로써 인간의 직관과 지형 특성에 부합하는 행동을 보였다.