[논문 리뷰] Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion

Xingye Da, Zhaoming Xie외 6명|arXiv (Cornell University)|2020. 09. 21.

Robotic Locomotion and Control인용 수 13

한 줄 요약

이 논문은 모델 기반 제어와 강화 학습을 융합하여 견고하고 에너지 효율적인 운동을 가능하게 하는 계층적 접촉 적응형 제어기를 제안한다. 고수준 강화 학습 제어기는 실시간 환경 피드백에 기반해 사전 정의된 운동 프리미티브 중에서 선택하고, 저수준 제어기는 안정적인 실행을 보장한다. 이 시스템은 기준 대비 최대 85% 높은 에너지 효율성과 뛰어난 견고성을 달성했으며, 물리적 Unitree Laikago 로봇에서 도메인 랜덤화나 미세조정 없이도 예측하지 못한 지형으로의 일반화가 가능하다.

ABSTRACT

We present a hierarchical framework that combines model-based control and reinforcement learning (RL) to synthesize robust controllers for a quadruped (the Unitree Laikago). The system consists of a high-level controller that learns to choose from a set of primitives in response to changes in the environment and a low-level controller that utilizes an established control method to robustly execute the primitives. Our framework learns a controller that can adapt to challenging environmental changes on the fly, including novel scenarios not seen during training. The learned controller is up to 85~percent more energy efficient and is more robust compared to baseline methods. We also deploy the controller on a physical robot without any randomization or adaptation scheme.

연구 동기 및 목표

• 실시간으로 변화하는 동적 환경과 예측하지 못한 조건에 적응할 수 있는 견고하고 에너지 효율적인 제어기를 개발하는 것.
• 전통적인 모델 기반 제어와 종단 간 강화 학습의 한계를 해결하여 접촉 불확실성과 새로운 지형을 다룰 수 있도록 하는 것.
• 도메인 랜덤화나 미세조정 없이도 학습된 제어기를 물리적 로봇에 구현할 수 있도록 하는 것.
• 모델 기반 제어와 강화 학습의 융합을 통해 사지 로봇의 에너지 효율성과 견고성을 향상시키는 것.

제안 방법

• 프레임워크는 고수준 강화 학습 제어기와 저수준 제어기로 구성된 계층적 아키텍처를 사용한다. 고수준 제어기는 환경 피드백에 기반해 사전 정의된 운동 프리미티브 집합에서 선택한다.
• 저수준 제어기는 기존의 제어 방법(예: 작업 공간 제어 또는 계산된 토크 제어)을 사용하여 선택된 각 프리미티브를 견고하게 실행한다.
• 고수준 제어기는 변화하는 지형과 접촉 조건에 대응하기 위해 강화 학습을 통해 프리미티브 선택을 적응적으로 학습한다.
• 시스템은 다양한 지형 조건에서 시뮬레이션을 통해 훈련되어, 추론 시 새로운 예측하지 못한 환경으로의 일반화가 가능하다.
• 도메인 랜덤화나 시뮬레이션에서 실제 환경으로의 적응 기법을 사용하지 않아 물리적 Unitree Laikago 로봇에 직접 구현이 가능하다.
• 운동 프리미티브의 동적 조정을 통해 접촉 상태를 관찰하고 접촉 적응 행동을 학습한다.

실험 결과

연구 질문

• RQ1 도메인 랜덤화 없이도 계층적 강화 학습과 모델 기반 제어 프레임워크가 예측하지 못한 지형에서 견고한 사지 로봇 운동을 가능하게 할 수 있는가?
• RQ2 학습된 프리미티브 선택과 안정적인 저수준 제어의 통합이 사지 로봇의 에너지 효율성 향상에 어떻게 기여하는가?
• RQ3 학습 중에 존재하지 않은 새로운 환경 조건에 대해 학습된 제어기가 얼마나 잘 일반화되는가?
• RQ4 기준 제어 방법 대비 에너지 효율성과 견고성 향상 수준은 어떠한가?
• RQ5 이러한 제어기는 시뮬레이션에서 실제 환경으로의 적응 없이도 물리적 로봇에 직접 구현 가능한가?

주요 결과

• 제안된 제어기는 기준 방법 대비 최대 85% 높은 에너지 효율성을 달성하여 운영 내구성 향상에 기여한다.
• 훈련 중에 볼 수 없었던 도전적이고 새로운 지형 조건에서도 뛰어난 견고성을 보여준다.
• 접촉 적응형 프리미티브 선택 메커니즘 덕분에 새로운 환경으로의 효과적인 일반화가 가능하다.
• 도메인 랜덤화나 시뮬레이션에서 실제 환경으로의 적응 없이도 물리적 Unitree Laikago 로봇에 성공적으로 구현되었다.
• 계층적 설계 덕분에 모델 기반 제어의 신뢰성과 강화 학습의 적응성의 장점을 결합하여 안정적이고 효율적인 운동이 가능하다.