[논문 리뷰] Fast and Efficient Locomotion via Learned Gait Transitions

Yuxiang Yang, Tingnan Zhang외 3명|arXiv (Cornell University)|2021. 04. 09.

Robotic Locomotion and Control참고 문헌 54인용 수 8

한 줄 요약

이 논문은 시뮬레이션에서의 훈련을 통해 다각형 로봇이 에너지 효율적인 걸음걸이와 자연스러운 속도 변화에 따른 걸음걸이 전환을 자율적으로 학습할 수 있도록 하는 계층적 강화학습 프레임워크를 제안한다. 고수준의 걸음걸이 정책을 유전적 전략(CMA-ES)으로 훈련하고, 저수준의 볼록 모형 예측 제어(MPC) 제어기를 사용하여, 걷기, 뛰기, 플라이트로팅 사이의 전환을 최소한의 에너지 소비로 구현한다. 이 시스템은 Unitree A1 로봇에 실시간으로 구현되었으며, 시뮬레이션에서의 정밀 조정 없이도 뛰어난 실제 환경 적용 성능을 보였다.

ABSTRACT

We focus on the problem of developing energy efficient controllers for quadrupedal robots. Animals can actively switch gaits at different speeds to lower their energy consumption. In this paper, we devise a hierarchical learning framework, in which distinctive locomotion gaits and natural gait transitions emerge automatically with a simple reward of energy minimization. We use evolutionary strategies (ES) to train a high-level gait policy that specifies gait patterns of each foot, while the low-level convex MPC controller optimizes the motor commands so that the robot can walk at a desired velocity using that gait pattern. We test our learning framework on a quadruped robot and demonstrate automatic gait transitions, from walking to trotting and to fly-trotting, as the robot increases its speed. We show that the learned hierarchical controller consumes much less energy across a wide range of locomotion speed than baseline controllers.

연구 동기 및 목표

• 수동적인 걸음걸이 설계 없이도 다각형 로봇이 에너지 효율적인 이동 방식과 전환을 학습할 수 있도록 하는 제어 프레임워크를 개발하는 것.
• 시뮬레이션-현실 도메인 갭으로 인해 종단간 정책 훈련이 실패하는 문제를 해결하는 것.
• 생물학적 다각형 이동 방식을 모방하여 다양한 속도에서 자동으로 걸음걸이 전환을 가능하게 하는 것.
• 추가 정밀 조정이나 보상 형상화 없이도 학습된 정책을 실제 환경에 안정적으로 구현하는 것.
• 강화학습과 최적 제어의 장점을 결합하기 위해 걸음걸이 생성과 모터 명령 최적화를 분리하는 것.

제안 방법

• 고수준의 걸음걸이 정책과 저수준의 볼록 MPC 제어기를 갖춘 계층적 프레임워크를 설계하여, 걸음걸이 패tern 지정과 모터 명령 계산을 분리한다.
• 고수준의 걸음걸이 정책은 속도 추적 및 에너지 효율성 기반 보상 함수를 사용한 유전적 전략(CMA-ES)으로 훈련된다.
• 걸음걸이 정책은 발이 땅에 닿는 시점 등을 정의하는 핵심 파라미터를 출력하며, MPC 제어기가 이를 바탕으로 실시간으로 최적의 모터 명령을 계산한다.
• 저수준의 MPC 제어기는 단순화된 역학 모델을 사용하여 실시간 실행 가능성과 강건성을 확보하며, 접촉력과 접촉 순서를 암묵적인 변수로 간주한다.
• 프레임워크는 전적으로 시뮬레이션에서 훈련되었으며, 추가 데이터 수집이나 시뮬레이션-현실 적응 없이도 실제 Unitree A1 로봇에 직접 구현되었다.
• 관측 공간에는 자이로스코프, 모터 각도, 걸음걸이 단계 정보가 포함되어 있어, 비-ES 알고리즘의 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 걸음걸이 시간 없이 학습 기반 프레임워크가 고유한 걸음걸이와 자연스러운 전환을 자동으로 발견할 수 있는가?
• RQ2 강화학습과 최적 제어를 조합한 계층적 설계가 종단간 정책에 비해 샘플 효율성과 실제 환경 일반화 능력을 어떻게 향상시키는가?
• RQ3 이 계층적 제어 설계에서 왜 유전적 전략(CMA-ES, ARS)이 PPO나 SAC와 같은 표준 강화학습 알고리즘보다 우수한 성능을 보이는가?
• RQ4 시뮬레이션에서 훈련된 정책이 정밀 조정 없이도 실제 로봇에 직접 구현 가능한 정도는 어느 정도인가?
• RQ5 다양한 지형에서 안정성을 유지하면서도 최대 2.5 m/s의 고속 이동을 저에너지 소비로 달성할 수 있는가?

주요 결과

• 계층적 프레임워크는 넓은 속도 범위(0–2.5 m/s)에서 걷기에서 뛰기, 플라이트로팅으로의 걸음걸이 전환을 성공적으로 학습하고 실제 적용하여 생물학적 다각형 이동 방식을 모방했다.
• CMA-ES로 훈련된 걸음걸이 정책은 운반 비용(CoT) 0.84 ± 0.017을 기록하여 PPO, SAC, ARS보다 에너지 효율성이 뛰어나게 성과를 냈다.
• 속도 추적 오차는 0.0083 ± 0.00075로 나타나 모든 속도에서 높은 정밀도를 확보했다.
• 비계층적 기준 모델(E2E 및 PMTG)은 안정적인 이동을 학습하지 못했다: E2E는 자리에서 멈춰 있었고, PMTG는 세 개의 다리만 사용하여 평탄한 정책 공간에서의 수렴 불량을 보였다.
• Unitree A1 로봇에 다양한 환경(카펫, 잔디, 낮은 장애물)에서 추가 정밀 조정 없이 직접 구현되었으며, 이는 뛰어난 시뮬레이션-현실 전이 능력을 확인했다.
• 유전적 전략(CMA-ES 및 ARS)은 PPO와 SAC보다 뚜렷하게 슈퍼어리어하며, 특히 원본 관측 공간에서 성능이 뛰어나, MPC의 블랙박스 성격이 표준 강화학습 알고리즘의 효과를 떨어뜨린다는 점을 시사한다.