[논문 리뷰] CAJun: Continuous Adaptive Jumping using a Learned Centroidal Controller

Yuxiang Yang, Guanya Shi외 5명|arXiv (Cornell University)|2023. 06. 16.

Robotic Locomotion and Control인용 수 6

한 줄 요약

CAJun은 중심질량 정책과 QP 기반 다리 제어기를 조합한 계층적 강화학습 프레임워크로, 다리 로봇이 연속적이고 적응형 장거리 점프를 수행할 수 있도록 한다. 단일 GPU에서 20분 이내에 훈련되며, Unitree Go1 로봇에서 70cm의 갭을 넘는 성능을 기록했고, 시뮬레이션에서 실제 환경으로의 도메인 갭이 최소화되어 있으며, 종단 간 강화학습 방법보다 실제 환경에서 더 뛰어난 성능을 발휘한다.

ABSTRACT

We present CAJun, a novel hierarchical learning and control framework that enables legged robots to jump continuously with adaptive jumping distances. CAJun consists of a high-level centroidal policy and a low-level leg controller. In particular, we use reinforcement learning (RL) to train the centroidal policy, which specifies the gait timing, base velocity, and swing foot position for the leg controller. The leg controller optimizes motor commands for the swing and stance legs according to the gait timing to track the swing foot target and base velocity commands using optimal control. Additionally, we reformulate the stance leg optimizer in the leg controller to speed up policy training by an order of magnitude. Our system combines the versatility of learning with the robustness of optimal control. By combining RL with optimal control methods, our system achieves the versatility of learning while enjoys the robustness from control methods, making it easily transferable to real robots. We show that after 20 minutes of training on a single GPU, CAJun can achieve continuous, long jumps with adaptive distances on a Go1 robot with small sim-to-real gaps. Moreover, the robot can jump across gaps with a maximum width of 70cm, which is over 40% wider than existing methods.

연구 동기 및 목표

• 어려운 지형과 큰 갭을 가진 환경에서 다리 로봇이 연속적이고 적응형 장거리 점프를 수행할 수 있도록 하는 것.
• 4족 보행 로봇을 위한 기계학습 기반 점프 정책에서의 시뮬레이션-실세계 도메인 갭을 줄이는 것.
• 강화학습의 유연성과 최적화 기반 제어의 견고성을 결합한 훈련 효율성이 높은 프레임워크를 개발하는 것.
• 광범위한 보상 엔지니어링이나 시뮬레이션-실세계 정밀조정 없이도 높은 성능의 점프를 달성하는 것.

제안 방법

• 고수준 중심질량 정책은 강화학습을 통해 보행 주기, 기준 속도, 허공 다리 위치 목표를 출력하도록 훈련된다.
• 저수준 다리 제어기는 500Hz에서 최적의 모터 명령을 계산하기 위해 2차 프rogamming(QP)을 사용하여 실시간 피드백과 견고성을 확보한다.
• 지지 다리 최적화기는 클리핑이 적용된 최소 제곱 문제로 재구성되어, 표준 QP 대비 훈련 시간을 10배 단축시켰다.
• 프레임워크는 계층적 제어 스택을 사용한다: 중심질량 정책이 고수준 운동 목표를 설정하고, 다리 제어기가 정밀한 토크 추적을 통해 이를 실행한다.
• 시스템은 단일 GPU를 사용해 시뮬레이션에서 훈련되고, 실제 Unitree Go1 로봇에 제로샷(Zero-shot)으로 배포된다.
• 이 방법은 다양한 보행 방식(예: 프론킹, 번딩)을 지원하며, 사용자 명령에 따라 적응형 점프 거리를 구현할 수 있다.

Figure 1: Overview of the hierarchical framework of CAJun.

실험 결과

연구 질문

• RQ1 계층적 강화학습과 최적화 기반 프레임워크는 시뮬레이션-실세계 갭을 최소화하면서 다리 로봇이 연속적이고 적응형 장거리 점프를 수행할 수 있는가?
• RQ2 QP 기반 다리 제어기를 클리핑된 최소 제곱 문제로 재구성할 경우 훈련 속도와 정책 성능에 어떤 영향을 미치는가?
• RQ3 학습된 중심질량 정책이 다양한 보행 방식(예: 프론킹 대비 번딩) 간 일반화되면서도 높은 점프 거리와 안정성을 유지할 수 있는가?
• RQ4 다이나믹한 변화가 발생하는 상황에서 CAJun은 종단 간 강화학습과 비교해 실제 환경 배포 및 시뮬레이션-시뮬레이션 전이에서 어떻게 성능을 발휘하는가?
• RQ5 장거리 점프를 달성하기 위해 필수적인 설계 요소(예: 허공 다리 잔여항, 보행 조절)는 무엇인가?

주요 결과

• CAJun은 최대 70cm의 갭을 넘는 능력을 확보하여 기존 방법보다 40퍼센트 이상 넓은 갭을 커버한다.
• 정책은 정밀조정 없이도 실제 Unitree Go1 로봇에 제로샷으로 성공적으로 배포되어 연속적인 점프를 수행했다.
• 표준 QP 기반 훈련 대비 훈련 시간이 10배 단축되어, 단일 GPU에서 20분 이내에 정책 훈련이 가능해졌다.
• 실제 테스트에서 CAJun은 번딩 보행에서 종단 간 강화학습보다 총 질량중심(CoM) 이동 거리가 25% 더 높았고, 프론킹 보행에서는 185% 더 높았다.
• 아블레이션 연구를 통해 허공 다리 잔여항과 보행 조절이 장거리 점프에 필수적임을 확인했으며, 기준 궤적 없이 직접 허공 다리 제어를 수행할 경우 복잡한 보행에서 성능 저하가 발생함을 입증했다.
• 다시 구성된 QP 솔버는 정책 성능을 유지하면서도 훈련 효율성을 크게 향상시켰으며, 이는 기어기와 트로팅과 같은 다른 보행 방식으로도 확장 가능하다.