[논문 리뷰] Robust and Versatile Bipedal Jumping Control through Reinforcement Learning

Zhongyu Li, Xue Bin Peng외 4명|arXiv (Cornell University)|2023. 02. 19.

Robotic Locomotion and Control인용 수 4

한 줄 요약

이 논문은 토크 제어가 가능한 이족 보행 로봇 캐시(Cassie)가 실제 환경에서 견고하고 다양한 역동적 점프를 수행할 수 있도록 하는 강화학습 프레임워크를 제안한다. 새로운 장기 및 단기 입력/출력 이력 인코더와 다단계 훈련 방식을 갖춘 목표 조건화 정책을 사용함으로써, 로봇은 다양한 목표—다른 거리, 방향, 고도의 플랫폼—으로 점프할 수 있으며, 높은 성공률과 외부 자극에 대한 자발적 복구 행동을 달성한다.

ABSTRACT

This work aims to push the limits of agility for bipedal robots by enabling a torque-controlled bipedal robot to perform robust and versatile dynamic jumps in the real world. We present a reinforcement learning framework for training a robot to accomplish a large variety of jumping tasks, such as jumping to different locations and directions. To improve performance on these challenging tasks, we develop a new policy structure that encodes the robot's long-term input/output (I/O) history while also providing direct access to a short-term I/O history. In order to train a versatile jumping policy, we utilize a multi-stage training scheme that includes different training stages for different objectives. After multi-stage training, the policy can be directly transferred to a real bipedal Cassie robot. Training on different tasks and exploring more diverse scenarios lead to highly robust policies that can exploit the diverse set of learned maneuvers to recover from perturbations or poor landings during real-world deployment. Such robustness in the proposed policy enables Cassie to succeed in completing a variety of challenging jump tasks in the real world, such as standing long jumps, jumping onto elevated platforms, and multi-axes jumps.

연구 동기 및 목표

• 기존의 모델 기반 및 단일 작업 강화학습 방법의 한계를 극복하여, 실존 크기의 토크 제어 이족 보행 로봇이 실제 환경에서 민첩하고 역동적인 점프를 수행할 수 있도록 한다.
• 점프의 이륙, 비행, 고속 충격 착지 등 몇 초 내에 발생하는 복잡한 하이브리드 동역학을 제어하는 과제를 해결한다.
• 다양한 점프 작업(예: 전진, 횡방향, 회전, 고도가 높은 점프)에 일반화할 수 있는 목표 조건화 정책을 개발하여 견고성과 적응성을 향상시킨다.
• 다양한 점프 작업에 대한 훈련을 통해 시뮬레이션에서 실제 환경으로의 전이 능력과 견고성을 향상시키며, 동역학 랜덤라이제이션에만 의존하지 않는다.
• 다양한 훈련이 실제 운영 중에 예상치 못한 복구 행동(예: 낮은 착지 후 허프로 전환)을 유도함을 입증한다.

제안 방법

• 장기 및 단기 입력/출력 이력 인코더를 갖춘 이중 인코더 아키텍처를 갖춘 새로운 정책 아키텍처를 제안하며, 이는 과거 궤적과 즉각적인 피드백을 함께 학습하는 데 사용된다.
• 복잡한 다목표 점프 문제를 세 단계로 분해하는 다단계 훈련 방식을 구현한다: (1) 기본 점프 학습, (2) 다양한 점프 목표 학습, (3) 견고성 및 일반화를 위한 최적화.
• 목표 조건화 강화학습을 사용하여, 상태와 목표(예: 목표 위치, 방향)를 토크 명령으로 매핑하는 단일 정책을 훈련시켜 새로운 목표에 대해 제로샷 배포를 가능하게 한다.
• 로봇의 자체 입력/출력 이력에서 영향력 있는 힘과 접촉 전환과 같은 관련 정보를 추출할 수 있는 시간적 인코더를 통합하며, 사전 정의된 환경 매개변수에 의존하지 않는다.
• 고정밀도 MuJoCo 시뮬레이션에서 동역학 및 목표 분포의 랜덤라이제이션을 적용하여 시뮬레이션에서 실제 환경으로의 전이를 실현하며, 직접 실제 캐시 로봇에 배포한다.
• 커리큘럼 학습과 커리큘럼 기반 목표 스케줄링을 적용하여 훈련 중에 작업의 다양성과 난이도를 점진적으로 증가시켜 샘플 효율성과 정책 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 목표 조건화 강화학습 정책이 토크 제어가 가능한 이족 보행 로봇이 실제 환경에서 다양한 종류의 역동적 점프(다른 위치, 방향, 고도)를 수행할 수 있는가?
• RQ2 다목표 훈련—다양한 점프 작업을 동시에 학습하는 방식—은 실제 운영 중 외부 자극이나 잘못된 착지 상황에서 정책의 견고성에 어떤 영향을 미치는가?
• RQ3 정책 아키텍처에 장기 및 단기 입력/출력 이력 정보를 통합할 경우, 복잡하고 고속 충격을 동반하는 점프 작업의 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 목표로 훈련된 정책는 미세조정 없이도 실제 환경으로 일반화될 수 있는가? 이때 작업의 다양성이 시뮬레이션에서 실제 환경으로의 전이에 어떤 역할을 하는가?
• RQ5 다양한 점프 작업에 대한 훈련이, 예를 들어 실패한 착지 후 허프로 전환하는 것처럼 명시적으로 프로그래밍되지 않은 자발적 복구 행동을 유도하는가?

주요 결과

• 제안된 방법은 실제 캐시 로봇에서 최대 1.4미터의 전방 점프 거리를 기록하여, 이전 연구에서 약 0.5미터에 그친 성능을 크게 초월했다.
• 로봇은 최대 1.4미터 전진의 입식 장거리 점프, ±0.3미터 횡방향 점프, ±55도의 회전 점프, 높이 0.44미터의 플랫폼 점프를 성공적으로 수행하여 높은 유연성을 입증했다.
• 시뮬레이션에서는 다양한 점프 작업에 대해 90%의 성공률를 기록했고, 실제 환경에서는 80% 이상의 성공률를 유지하여 강력한 시뮬레이션-실제 전이 능력을 보였다.
• 다목표 훈련으로 인해 견고성이 향상되었으며, 큰 착지 충격이나 외부 자극에 노출되었을 때도 재계획 없이 다른 학습된 동작(예: 허프)으로 전환하여 복구할 수 있었다.
• 절단 실험 결과, 다목표 훈련은 동역학 랜덤라이제이션 유무에 관계없이 단일 작업 훈련보다 훨씬 높은 견고성을 제공했으며, 추가 자극 조건에서도 유사한 성능을 기록했다.
• 이중 인코더 아키텍처(장기 및 단기 입력/출력 이력)는 별도의 티처-스터디 트레이닝과 미세조정이 필요한 기존 방법(RMA/TS)보다 더 민첩하고 직접적인 이력 데이터 활용을 가능하게 하여 성능이 뛰어났다.