[논문 리뷰] RL + Model-Based Control: Using On-Demand Optimal Control to Learn Versatile Legged Locomotion

Dong‐Ho Kang, Jin Cheng외 3명|arXiv (Cornell University)|2023. 05. 29.

Robotic Locomotion and Control인용 수 1

한 줄 요약

이 논문은 모델기반 최적제어(MBOC)와 강화학습(RL)을 융합한 하이브리드 제어 프레임워크를 제안하여 다양한 조건에서 유연하고 견고한 다리 다니는 동작을 가능하게 한다. 유한한 시간 영역 내 최적 제어를 통해 필요에 따라 기준 운동을 생성하고, 이를 RL 정책이 모방하도록 훈련시킴으로써, 로봇 특화 보상 설계 없이도 복잡한 지형과 다양한 걸음걸이에 뛰어난 일반화 성능을 달성하며, 거친 환경에서 모델 예측 제어(MPC)보다 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a control framework that combines model-based optimal control and reinforcement learning (RL) to achieve versatile and robust legged locomotion. Our approach enhances the RL training process by incorporating on-demand reference motions generated through finite-horizon optimal control, covering a broad range of velocities and gaits. These reference motions serve as targets for the RL policy to imitate, leading to the development of robust control policies that can be learned with reliability. Furthermore, by utilizing realistic simulation data that captures whole-body dynamics, RL effectively overcomes the inherent limitations in reference motions imposed by modeling simplifications. We validate the robustness and controllability of the RL training process within our framework through a series of experiments. In these experiments, our method showcases its capability to generalize reference motions and effectively handle more complex locomotion tasks that may pose challenges for the simplified model, thanks to RL's flexibility. Additionally, our framework effortlessly supports the training of control policies for robots with diverse dimensions, eliminating the necessity for robot-specific adjustments in the reward function and hyperparameters.

연구 동기 및 목표

• 순수 모델 기반 최적 제어의 한계를 극복하기 위해, 이를 제한하는 단순화된 가정에 의존하는 방식을 개선하고자 한다.
• 다리 다니는 동작에서 표준 RL의 과제를 해결하고자 하며, 특히 보상 형상 조정이 광범위하게 필요하고 행동 전제 정보가 부족한 문제를 해결하고자 한다.
• 운동 생성을 위한 MBOC의 투명성과 효율성과 정책 학습을 위한 RL의 유연성과 일반화 능력을 결합한 통합 프레임워크를 구축하고자 한다.
• 로봇 특화 보상 함수나 초모수 조정 없이도 견고한 시뮬레이션에서 실제 환경으로의 전이 능력과 다양한 로봇 형태에 대한 적응성을 확보하고자 한다.

제안 방법

• 간단한 동역학 모델(예: VHIPM)을 사용한 유한 시간 영역 최적 제어(OCP)를 통해 다양한 속도와 걸음걸이를 커버하는 필요에 따라 기준 운동을 생성한다.
• 정밀하게 설계된 모방 보상 함수를 사용하여 MBOC가 생성한 기준 운동을 모방하도록 RL 정책을 훈련시킨다. 이 보상 함수는 정확도와 일반화 능력의 균형을 고려한다.
• 실제 시뮬레이션 동역학(완전한 몸체 동역학 포함)을 통합하여 MBOC 프레임워크의 모델 정확도 부족 문제를 보완할 수 있도록 한다.
• 훈련 중에 지형 마찰계수, 페린 노이즈 기반 불균형 지형, 중력 벡터 변동, 외부 충격을 광범위하게 랜덤화하여 내성적 저항성과 시뮬레이션-실제 전이 능력을 향상시킨다.
• 주기적 또는 비대칭적인 걸음걸이를 지원하는 접촉 단계 파arameterization을 적용하여, 대칭 패턴을 초월한 다양한 운동 행동을 가능하게 한다.
• 동일한 MBOC 시범 운동을 고1 및 알리엔고와 같은 다양한 4족 로봇에 적용함으로써, 보상 함수나 초모수 재조정 없이도 이식성이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 필요에 따라 최적 제어가 다양한 동적 일관성 있는 기준 운동을 생성할 수 있는가? 이러한 운동이 다리 다니는 동작에서 RL의 모방 학습에 효과적인 목표가 될 수 있는가?
• RQ2 RL 정책이 MBOC 모델의 단순화된 가정을 초월하여 불균형 지형과 외부 자극과 같은 실제 세계의 복잡한 상황을 얼마나 잘 일반화할 수 있는가?
• RQ3 로봇 특화 보상 설계나 초모수 조정 없이도 하이브리드 프레임워크가 얼마나 견고하게 시뮬레이션-실제 전이를 달성할 수 있는가?
• RQ4 이 프레임워크는 주기적 또는 대칭적인 걸음걸이를 초월한 다양한 운동 행동(비주기적, 비대칭적)을 지원할 수 있는가? 동시에 안정성과 제어 가능성은 유지되는가?
• RQ5 복잡한 환경에서의 RL 일반화에 필요한 민첩성과 MBOC 운동을 엄격히 모방하는 것 사이의 상충 관계는 어떠한가?

주요 결과

• RL 정책은 거친 불균형 지형과 경사면을 효과적으로 통과할 수 있도록 MBOC 기준 운동을 일반화하여, 10초 이내 5m 이동 과제에서 모델 예측 제어(MPC) 기준보다 뛰어난 성능을 보였다.
• 특수 작업용 보상 형상 조정 없이도 정책은 다양한 걸음걸이 스타일을 유지하고, 임의의 속도 명령에 정확하게 반응하였다.
• 유닛리 고1 및 알리엔고 4족 로봇에서의 하드웨어 실험을 통해 외부 자극, 불균형 지형, 변동 마찰 조건에서도 견고한 성능을 입증하였다.
• 훈련 중에 지형, 마찰계수, 중력, 외부 충격을 체계적으로 랜덤화함으로써 시뮬레이션-실제 전이를 효과적으로 달성하였으며, 로봇 특화 보상 조정이 필요 없었다.
• 1640만 개의 샘플, 64코어 CPU에서 46시간의 훈련 기간 동안 안정적인 훈련과 높은 정책 성능 유지를 달성하였으며, 다양한 운동 과제에 걸쳐 뛰어난 유연성을 유지하였다.
• 주기적 또는 대칭적인 걸음걸이의 제약을 초월한 방식으로 일반화되었으며, 접촉 단계 파arameterization을 통해 동물 유사한 운동 행동의 잠재력을 입증하였다.