[논문 리뷰] Minimizing Energy Consumption Leads to the Emergence of Gaits in Legged Robots

Zipeng Fu, Ashish Kumar외 2명|arXiv (Cornell University)|2021. 10. 25.

Robotic Locomotion and Control인용 수 41

한 줄 요약

요약: 이 논문은 에너지를 최소화하도록 학습하는 것이 평평한 지형에서의 사족 보행 로봇에 대해 보행(walk), 트로트(trot), 바운스(bounce) 같은 emergent gait를 유발하고, 거친 지형에서 비구조적(gait) 보행을 유발하며, 시뮬레이션과 실제 하드웨어에서 검증한다.

ABSTRACT

Legged locomotion is commonly studied and expressed as a discrete set of gait patterns, like walk, trot, gallop, which are usually treated as given and pre-programmed in legged robots for efficient locomotion at different speeds. However, fixing a set of pre-programmed gaits limits the generality of locomotion. Recent animal motor studies show that these conventional gaits are only prevalent in ideal flat terrain conditions while real-world locomotion is unstructured and more like bouts of intermittent steps. What principles could lead to both structured and unstructured patterns across mammals and how to synthesize them in robots? In this work, we take an analysis-by-synthesis approach and learn to move by minimizing mechanical energy. We demonstrate that learning to minimize energy consumption plays a key role in the emergence of natural locomotion gaits at different speeds in real quadruped robots. The emergent gaits are structured in ideal terrains and look similar to that of horses and sheep. The same approach leads to unstructured gaits in rough terrains which is consistent with the findings in animal motor control. We validate our hypothesis in both simulation and real hardware across natural terrains. Videos at https://energy-locomotion.github.io

연구 동기 및 목표

• 다리 로봇에서 사전에 프로그래밍된 보행 라이브러리에서 에너지 주도적 보행 emergence로의 전환을 동기 부여한다.
• 에너지 최소화가 평지에서 다른 속도에서 구조화된 보행을, 불균일한 지형에서 비구조적 보행을 생성할 수 있음을 Demonstrate한다.
• 에너지 주도 정책의 시뮬레이션-현실(sim-to-real) 전이를 실제 사족 로봇에게 보여준다.
• 속도 조건화 정책을 제공하여 속도 간 부드러운 보행 전환을 가능하게 한다."],
• method equivalent to
• method : 3-6 bullet points: proposed method, key techniques/equations
• method이하
• method:["Use an end-to-end, model-free reinforcement learning framework to learn joint-angle actions that minimize energy while moving forward.","Define the policy as a multilayer perceptron taking state (30D) and previous action (12D) to predict 12 joint target angles, converted to torque via a PD controller.","Adopt a bio-energetics-based reward: r = r_forward + alpha1 * r_energy + r_alive, with r_energy = -tau^T qdot.","Train on fractal terrains to encourage robust foot clearance and prevent reliance on artificial penalties.","Transfer policies to a real robot using Rapid Motor Adaptation (RMA) for sim-to-real adaptation of extrinsics.","Employ a velocity-conditioned learning scheme with distillation from expert, velocity-specific policies to enable smooth gait transitions."]
• research_questions: ["Can energy minimization alone yield natural, gait-like patterns at different speeds without pre-programmed gaits?", "Do emergent gaits on flat terrain correspond to known animal gaits and Froude-number ranges found in livestock and horses?", "Can a velocity-conditioned policy achieve smooth transitions between emergent gaits as target speed changes?", "Is sim-to-real transfer viable for energy-efficient, emergent gait policies on a real quadruped across diverse terrains?"]
• key_findings: ["Emergent gaits on flat terrains include walk, trot, and bounce as speed increases, with energy efficiency guiding gait selection.", "The emergent gaits at corresponding speeds align with Froude-number-based similarities to sheep and horses, without any gait pre-programming.", "On uneven terrains, the same framework yields unstructured, irregular gaits consistent with natural animal locomotion.", "Real-world deployments show speeds closely matching target speeds (e.g., 0.375, 0.9, 1.5 m/s targets with corresponding actuals) and energy-efficient performance exceeding a convex MPC baseline.", "A velocity-conditioned policy with distillation from expert gait policies enables smooth transitions across a continuous speed range, demonstrating robust sim-to-real transfer."]
• table_headers: []
• table_rows: []

제안 방법

• End-to-end의 모델 프리 강화 학습 프레임워크를 사용하여 앞으로 나아가며 에너지를 최소화하는 관절 각도 액션을 학습한다.
• 상태(30D)와 이전 행동(12D)을 입력으로 받아 12개의 관절 타깃 각도를 예측하고, PD 컨트롤러를 통해 토크로 변환하는 다층 퍼셉트론으로 정책을 정의한다.
• 생물에너지학에 기초한 보상: r = r_forward + alpha1 * r_energy + r_alive, 여기서 r_energy = -tau^T qdot.
• 프랙탈 지형에서 학습하여 바닥 접촉의 견고한 이탈(foot clearance)을 장려하고 인공 페널티에 의존하지 않도록 한다.
• extrinsic의 시뮬레이트-리얼 적응을 위한 Rapid Motor Adaptation (RMA)을 사용하여 정책을 실제 로봇으로 전이한다.
• 전문가의 속도별 정책에서의 증류(distillation)로 속도 조건부 학습 체계를 적용하여 부드러운 보행 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에너지 최소화만으로도 사전에 프로그래밍된 보행 없이 서로 다른 속도에서 자연스러운 보행 유사 패턴을 얻을 수 있는가?
• RQ2 평지에서의 emergent gait가 가축과 말에서 발견된 프루드(Roude) 수 범위 및 알려진 동물 보행과 일치하는가?
• RQ3 속도 조건화 정책이 목표 속도가 변화함에 따라 emergent gait 간의 매끄러운 전이를 달성할 수 있는가?
• RQ4 다양한 지형에서 실제 로봇에 대한 에너지 효율적 emergent gait 정책의 시뮬레이션-현실 전이가 가능한가?

주요 결과

• 평지에서 속도가 증가함에 따라 walk, trot, bounce가 emergent gait로 나타나며 에너지 효율이 보행 선택을 유도한다.
• 해당 속도에서 emergent gait는 Froude 수 기반의 sheep과 horses와의 유사성과 일치하나, 어떠한 보행도 사전 프로그래밍되지 않았다.
• 비고른 지형에서도 같은 프레임워크가 자연스러운 동물 보행과 일치하는 비구조적, 불규칙한 보행을 낳는다.
• 실제 현장 배치에서 속도는 목표 속도에 근접하게 일치하고(예: 0.375, 0.9, 1.5 m/s 목표에 대응하는 실제 속도) 에너지 효율적 성능이 볼록형 MPC 기준을 능가한다.
• 전문가 보행 정책에서의 증류를 통한 속도 조건부 정책은 연속적인 속도 범위에서 부드러운 전이를 가능하게 하며, robust sim-to-real 전이를 입증한다.