[논문 리뷰] Extreme Parkour with Legged Robots

Xuxin Cheng, Kexin Shi외 2명|arXiv (Cornell University)|2023. 09. 25.

Human Pose and Action RecognitionComputer Science인용 수 3

한 줄 요약

이 논문은 단일 전방 깊이 카메라와 단일 신경망 정책만을 사용하여 저비용·저정밀도의 다리 달린 로봇이 고도의 파크아워 행동—예를 들어 고고도 점프, 장거리 점프, 손대롱, 기울인 경사로 통과—를 수행할 수 있도록 하는 엔드 투 엔드 강화학습 접근법을 제시한다. 핵심 기여는 정책이 원시 시각 입력에서 직접 머리 방향을 자율적으로 예측하고 정밀한 모터 명령을 생성할 수 있도록 해주는 双중 정련(dua l distillation) 방법으로, 다양한 새로운 장애물 코스에 걸쳐 뛰어난 일반화 능력을 달성한다.

ABSTRACT

Humans can perform parkour by traversing obstacles in a highly dynamic fashion requiring precise eye-muscle coordination and movement. Getting robots to do the same task requires overcoming similar challenges. Classically, this is done by independently engineering perception, actuation, and control systems to very low tolerances. This restricts them to tightly controlled settings such as a predetermined obstacle course in labs. In contrast, humans are able to learn parkour through practice without significantly changing their underlying biology. In this paper, we take a similar approach to developing robot parkour on a small low-cost robot with imprecise actuation and a single front-facing depth camera for perception which is low-frequency, jittery, and prone to artifacts. We show how a single neural net policy operating directly from a camera image, trained in simulation with large-scale RL, can overcome imprecise sensing and actuation to output highly precise control behavior end-to-end. We show our robot can perform a high jump on obstacles 2x its height, long jump across gaps 2x its length, do a handstand and run across tilted ramps, and generalize to novel obstacle courses with different physical properties. Parkour videos at https://extreme-parkour.github.io/

연구 동기 및 목표

• 정밀한 액추에이터와 저품질의 인식 능력이라는 현실 세계의 제약 조건 속에서 다리 달린 로봇이 고도의 파크아워 행동을 수행할 수 있도록 하는 것.
• 정밀한 장애물 매핑과 사전 계획이 필요로 하는 전통적인 수동 설계 제어 파이프라인의 한계를 극복하는 것.
• 특정 작업에 맞게 설계된 계획 없이도 다양한 파크아워 작업—점프, 손대롱, 경사로—를 포괄하는 단일 신경망 정책을 개발하는 것.
• 외부 방향 신호에 의존하지 않고 시각 입력만으로도 동적 움직임 중에 자율적으로 머리 방향을 조정할 수 있도록 하는 것.
• 통합된 보상 설계를 갖춘 엔드 투 엔드 RL이 노이즈가 많은 센서와 액추에이터가 있는 상황에서도 잠재적인 고정밀 행동을 유도할 수 있음을 입증하는 것.

제안 방법

• 두 단계 강화학습 프레임워크: 먼저 정책을 전용 헤딩 정보를 갖춘 상태에서 훈련(단계 1), 그 다음 이를 깊이 영상에서 직접 헤딩을 예측하도록 정련(단계 2).
• 로봇 기준 속도와 목표 방향 간의 일치를 장려함으로써 다양한 파크아워 행동 간의 운동 획득을 통합하는 새로운 내적곱 기반 보상 함수.
• 선생 정책에서 학생 정책으로 모터 명령과 헤딩 방향을 동시에 정련함으로써 원시 시각 입력에서 자율적인 의사결정이 가능하도록 하는 방법.
• 대규모 강화학습을 활용한 시뮬레이션을 통해 장애물 코스(장애물, 간격, 계단, 기울인 경사로 포함) 다양성에 걸쳐 정책을 훈련.
• 안전한 발판 배치를 방지하기 위해 보상에 청소리 패널티를 통합함으로써 안정성 향상.
• 외부 방향 입력 없이도 프로 prioception과 시각 피드백에만 의존하여 손대롱 정책을 훈련함.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 RL을 통해 훈련된 단일 신경망 정책가 저비용 로봇에서 정밀도가 떨어지는 액추에이터와 저품질의 인식 능력이 있는 환경에서 고도의 파크아워 행동을 학습할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 정책가 물리적 특성과 기하학적 형태가 다른 새로운 장애물 코스에 일반화될 수 있는가?
• RQ3 외부 감독 없이 원시 깊이 영상에서 머리 방향을 자율적으로 예측할 수 있는가? 이로 인해 장거리 점프나 손대롱과 같은 정밀한 움직임이 가능해지는가?
• RQ4 내적곱 기반 통합 보상 함수가 특정 작업에 맞춘 보상이나 수동 설계 보상에 비해 다양한 파크아워 행동을 유도하는 데 얼마나 효과적인가?
• RQ5 외부 감각 정보(예: 요행 방향)를 명시적으로 제공받지 않은 정책가 기울인 표면에서 손대롱과 같은 동적 작업에서 얼마나 강건한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 모든 시뮬레이션 지형에서 평균 98%의 MXD를 달성하여, 분포 이탈로 인해 수렴하지 못하는 베이스라인인 NoDir 및 NoClear를 뛰어넘었다.
• 실제 환경 테스트에서 정책는 0.92 ± 0.19 MXD 및 0.09 ± 0.33 MEV를 기록했으며, 완벽한 방향 입력을 갖춘 오라클 정책(0.94 ± 0.19 MXD)에 근접한 성능를 보였다.
• 특히 인간이 제공한 방향 신호가 실패하는 간격과 기울인 경사로에서, 가장 어려운 지형 유형에서 기존 베이스라인 대비 20–80% 높은 성공률 기록.
• 외부 감각 정보 없이 훈련된 손대롱 정책는 계단과 같은 다양한 지형에서 걷는 데 성공하여 프로 prioception과 시각 피드백만으로도 강력한 내구성을 확보했다.
• 이중 정련 방법을 통해 정책는 깊이 영상에서 머리 방향을 정확히 예측할 수 있었고, 점프나 달리기 중에 궤도를 동적으로 조정할 수 있었다.
• 내적곱 보상 설계 덕분에 고도의 점프(로봇 신장의 두 배 높이 장애물 넘기), 장거리 점프(로봇 길이의 두 배 간격 점프) 등 잠재적인 고정밀 행동이 유도되었다.