[논문 리뷰] GLiDE: Generalizable Quadrupedal Locomotion in Diverse Environments with a Centroidal Model

Zhaoming Xie, Xingye Da외 3명|arXiv (Cornell University)|2021. 04. 20.

Robotic Locomotion and Control참고 문헌 41인용 수 11

한 줄 요약

GLiDE는 단순화된 중심질량 역학 모델을 사용하는 강화학습 프레임워크를 제안하며, 제어 행동을 몸체의 선형 및 각加속도로 정의하고, 지면 반력력을 계산하기 위해 2차 프rogamming(QP)을 활용한다. 이 방법은 평탄한 지형, 계단, 균형보행, 이량보행 등 다양한 지형에서 견고하고 일반화된 운동을 가능하게 하며, 고해상도 전신 역학 모델에 비해 보다 낮은 보상 함수와 계산 비용으로 시뮬레이션에서 실제 환경으로의 전이를 성공적으로 구현한다.

ABSTRACT

Model-free reinforcement learning (RL) for legged locomotion commonly relies on a physics simulator that can accurately predict the behaviors of every degree of freedom of the robot. In contrast, approximate reduced-order models are commonly used for many model predictive control strategies. In this work we abandon the conventional use of high-fidelity dynamics models in RL and we instead seek to understand what can be achieved when using RL with a much simpler centroidal model when applied to quadrupedal locomotion. We show that RL-based control of the accelerations of a centroidal model is surprisingly effective, when combined with a quadratic program to realize the commanded actions via ground contact forces. It allows for a simple reward structure, reduced computational costs, and robust sim-to-real transfer. We show the generality of the method by demonstrating flat-terrain gaits, stepping-stone locomotion, two-legged in-place balance, balance beam locomotion, and direct sim-to-real transfer.

연구 동기 및 목표

• 강화학습에서 고도로 추상화된 중심질량 모델을 사용할 경우, 고해상도 전신 역학 시뮬레이션에 의존하지 않고도 견고하고 일반화 가능한 4족 보행을 달성할 수 있는지 탐구하는 것.
• 전체 관절 수준의 역학 모델과 분리하여 제어를 분리함으로써 강화학습 기반의 다리 운동 제어에서 보상 형상화와 계산 비용의 복잡성을 줄이는 것.
• 다양한 보행 과제, 특히 도전적인 균형 유지 및 불균형 지형 상황에서 효과적인 시뮬레이션-실세계 전이와 일반화를 가능하게 하는 것.
• 간단한 행동 공간과 QP 기반의 힘 해상법을 사용하는 중심질량 모델이 전통적인 MPC 및 전면 모델 기반 강화학습보다 견고성과 일반화 능력에서 뛰어나다는 것을 입증하는 것.
• 다양한 보행 패tern과 지형 종류를 지원하는 실용적이고 효율적인 전면 모델 기반 강화학습의 대안을 제시하는 것.

제안 방법

• 이 방법은 로봇을 가상 다리가 있는 강체로 표현하는 중심질량 역학 모델을 사용하며, 제어 행동은 몸체의 선형 및 각 가속도로 정의된다.
• 지면 반력력(GRFs)은 무 slip 및 다리 길이 등의 제약 조건을 충족시키기 위해 2차 프로그래밍(QP)을 통해 계산되며, 중심질량 명령을 실현 가능한 접촉력으로 변환한다.
• 지지 다리의 관절 토크는 야코비안 전치를 사용하여 유도되며, 스윙 다리는 궤적 추적 제어를 따르므로 중심질량 정책에서 전체 로봇의 구동이 가능해진다.
• 보상 함수는 전반적인 작업 목표인 전진, 안정성, 균형 유지에 중점을 두고 단순한 6항목 보상 함수를 사용하여 전면 모델 강화학습에서 요구되는 복잡한 형상화를 피한다.
• 정책은 Laikago와 A1 로봇을 대상으로 시뮬레이션에서 모델 자유 강화학습을 통해 훈련되며, 발자국 배치는 히우리스틱 함수에 의해 결정된다.
• 이 프레임워크는 직접적인 시뮬레이션-실세계 전이를 지원하며, 실제 A1 로봇에서 검증되어 다양한 환경에서의 견고성을 입증했다.

실험 결과

연구 질문

• RQ1 중심질량 모델을 사용한 강화학습이 고해상도 전면 역학 시뮬레이션 없이도 다양한 지형에서 견고하고 일반화 가능한 4족 보행을 달성할 수 있는가?
• RQ2 중심질량 모델 기반 강화학습의 성능은 전면 모델 기반 강화학습 및 전통적인 MPC와 비교해 보상 효율성, 계산 비용, 일반화 능력 측면에서 어떻게 다른가?
• RQ3 간단한 보상 함수와 QP 기반의 힘 해상법이 이량보행 및 계단 이동과 같은 복잡한 행동을 얼마나 잘 구현할 수 있는가?
• RQ4 중심질량 모델이 실제 세계의 역학을 포괄하지 못하는 한계는 무엇이며, 이는 시뮬레이션-실세계 전이에 어떤 영향을 미치는가?
• RQ5 단일 정책을 통해 평탄한 지형, 균형보행, 불균형 표면 등 다양한 보행 과제를 일반화할 수 있는가?

주요 결과

• GLiDE는 도메인 랜덤라이제이션 또는 광범위한 시뮬레이션-실세계 적응 없이도 실제 A1 로봇에서 성공적인 시뮬레이션-실세계 전이를 달성하며, 다양한 환경에서 견고한 보행을 보여주었다.
• 이 방법은 평탄한 지형 및 계단 과제에서 1~2시간 내로 훈련이 가능하며, 전면 모델 기반 강화학습(예: DeepGait의 58시간)에 비해 훨씬 빠르며, 보상 항목도 단지 6개 뿐이었다.
• GLiDE 정책는 관절 토크 기반 강화학습 대비 고주파 운동 성분이 13%로 낮아 더 매끄럽고 안정적인 보행 패턴을 보였다.
• GLiDE는 중심질량 PD 제어기보다 안정성과 일반화 능력에서 뛰어나며, 특히 균형보행 및 이량보행 과제에서 PD 제어기가 부족한 제어력으로 실패하는 상황에서도 성능을 유지를 하였다.
• GLiDE-full 버전은 테스트와 동일한 환경에서 훈련되었으며, 대부분의 시나리오에서 GLiDE와 거의 동일한 성능를 보였고, 중심질량 모델이 높은 성능을 달성하는 데 충분함을 확인하였다.
• 이 방법은 다양한 보행 패턴과 지형에서 일반화 가능하며, 단일 프레임워크로 평탄한 걷기, 토트, 계단 이동, 균형보행, 이량보행 등 다양한 과제를 성공적으로 처리하였다.