[논문 리뷰] Data-Driven Physics Embedded Dynamics with Predictive Control and Reinforcement Learning for Quadrupeds

Prakrut Kotecha, Aditya Shirwatkar외 1명|arXiv (Cornell University)|2026. 03. 15.

Robotic Locomotion and Control인용 수 0

한 줄 요약

이 논문은 Lagrangian Neural Networks를 RL–MPC 프레임워크에 통합하여 4족 보행 locomotion을 위한 역역학 MPC를 사용해 물리적 일관성과 향상된 샘플 효율성으로 실시간 계획을 달성합니다.

ABSTRACT

State of the art quadrupedal locomotion approaches integrate Model Predictive Control (MPC) with Reinforcement Learning (RL), enabling complex motion capabilities with planning and terrain adaptive behaviors. However, they often face compounding errors over long horizons and have limited interpretability due to the absence of physical inductive biases. We address these issues by integrating Lagrangian Neural Networks (LNNs) into an RL MPC framework, enabling physically consistent dynamics learning. At deployment, our inverse dynamics infinite horizon MPC scheme avoids costly matrix inversions, improving computational efficiency by up to 4x with minimal loss of task performance. We validate our framework through multiple ablations of the proposed LNN and its variants. We show improved sample efficiency, reduced long-horizon error, and faster real time planning compared to unstructured neural dynamics. Lastly, we also test our framework on the Unitree Go1 robot to show real world viability.

연구 동기 및 목표

• 물리 기반의 귀납적 편향과 데이터 기반 학습을 결합해 4족 보행에서 해석 가능성과 장기 계획성을 개선하고자 한다.
• 모덜 기반 계획을 위한 물리적으로 일관된 다이나믹스를 생성하는 Lagrangian Neural Network(LNN)을 개발한다.
• Dreamer 기반 물리를 적용한 RL–MPC 학습 프레임워크를 만들어 샘플 효율성과 강인성을 향상시킨다.
• 배포 시 역역학 MPC 플래너를 배치하여 계산을 줄이고 실제 하드웨어에서 성능을 유지한다.

제안 방법

• 학습 가능한 아래삼각 인자를 사용해 질량 행렬을 대칭 양의 정의(positive-definite)로 매개화한다.
• LNN 기반 다이나믹스를 학습하고 Dreamer 모듈을 사용해 물리 정보를 반영한 가상 궤적을 정책 학습에 활용한다.
• 자세센서(proprioceptive) 이력을 전체 상태 추정치로 매핑하는 인코더를 사용해 Dreamer 모듈이 LNN 다이나믹스로 미래 상태를 추정하도록 한다.
• 훈련은 우선 특권 크리틱(privileged critic)과 물리 정보 Dreamer 타깃을 갖춘 비대칭 액터-크리틱 구조를 사용하고, 전문가 액터는 PPO를 통해 환경과 상호 작용한다.
• 실시간 계획 중 질량 행렬 역행렬 계산을 피하기 위해 관절 궤적을 최적화하는 역역학 MPC 해석기를 배치한다.

실험 결과

연구 질문

• RQ1 유도된 물리 프라이어를 갖춘 라그랑주 기반 다이나믹스가 4족 보행의 장기 계획성을 향상시킬 수 있는가?
• RQ2 Forward-dynamics나 비구조적 모델과 비교해 LNN을 RL–MPC 프레임워크에 통합하면 샘플 효율성과 실시간 계획이 향상되는가?
• RQ3 다양한 지형에서 4족 보행에 대해 역역학 기반 MPC를 실시간 배치가 가능하게 하는가?
• RQ4 제안된 아키텍처가 실제 하드웨어(Unitree Go1)에서 여러 지형에 걸쳐 어떻게 작동하는가?
• RQ5 고차원 다리 시스템에서 추론 속도와 계획 성능 간의 트레이드오프는 무엇인가?

주요 결과

• 이 프레임워크는 비구조적 NN 다이나믹스와 비교해 더 나은 샘플 효율성과 긴 범위 오차 감소를 달성한다.
• 역역학 MPC가 forward-dynamics LNN 플래너에 비해 배치 지연을 최대 4배까지 감소시킨다.
• 이 방법은 장기 성능과 지형 전반에서 경쟁력 있는 수익을 유지하고, 현저히 낮은 대기 시간으로 DeLaN 성능에 근접한다.
• Unitree Go1에 대한 하드웨어 실험은 여섯 가지 지형 유형에 걸친 실세계 적용 가능성을 보여준다.
• 이 방법은 다중 지형에서도 안정적인 성능과 ONN 기반 기준선에 비해 향상된 계획 강인성을 제공한다.