[논문 리뷰] Learning Generalizable Locomotion Skills with Hierarchical Reinforcement Learning

Tianyu Li, Nathan Lambert외 3명|arXiv (Cornell University)|2019. 09. 26.

Reinforcement Learning in Robotics참고 문헌 37인용 수 4

한 줄 요약

이 논문은 모델 자유 학습을 통한 순환 운동 프리미티브 학습과 거친 동역학 모델을 사용한 모델 기반 계획을 조합하는 계층적 강화학습 프레임워크를 제안한다. 이를 통해 실제 로봇에서 샘플 효율적이고 일반화 가능한 목표 지향적 이동을 가능하게 한다. 이 방법은 18-DOF 헥사포드 로봇이 하드웨어에서 훈련을 통해 단 두 시간 만에 최대 12미터 떨어진 목표에 도달하도록 학습시켰으며, 노이즈와 환경 변화에 대해 뛰어난 내성성을 보였다.

ABSTRACT

Learning to locomote to arbitrary goals on hardware remains a challenging problem for reinforcement learning. In this paper, we present a hierarchical learning framework that improves sample-efficiency and generalizability of locomotion skills on real-world robots. Our approach divides the problem of goal-oriented locomotion into two sub-problems: learning diverse primitives skills, and using model-based planning to sequence these skills. We parametrize our primitives as cyclic movements, improving sample-efficiency of learning on a 18 degrees of freedom robot. Then, we learn coarse dynamics models over primitive cycles and use them in a model predictive control framework. This allows us to learn to walk to arbitrary goals up to 12m away, after about two hours of training from scratch on hardware. Our results on a Daisy hexapod hardware and simulation demonstrate the efficacy of our approach at reaching distant targets, in different environments and with sensory noise.

연구 동기 및 목표

• 실제 다리 달린 로봇 이동을 위한 강화학습에서 샘플 비효율성과 낮은 일반화 능력 문제를 해결하기 위해.
• 실제 하드웨어에서 재학습 없이도 임의의 새로운 목표지점으로 일반화 가능한 목표 지향적 이동 정책을 학습 가능하게 하기 위해.
• 시뮬레이션에서 실제로의 전이에 의존도를 줄이고, 더 높은 데이터 효율성을 확보하기 위해 직접 하드웨어에서 훈련하도록 하기 위해.
• 저수준 스킬 학습과 고수준 목표 계획을 분리하는 확장 가능한 프레임워크를 개발하기 위해.
• 실제 환경 배치 시 감각 노이즈와 환경 변화에 대한 내성성을 향상시키기 위해.

제안 방법

• 샘플 효율성을 높이기 위해 저수준 이동 정책을 순환 운동(예: 앞으로 걷기, 회전하기 등)으로 매개변수화한다.
• 모델 자유 강화학습(Soft Actor-Critic)을 사용하여 이러한 순환 정책을 직접 하드웨어에서 훈련시킨다.
• 각 프리미티브 동작의 한 사이클 동안 뿐만 아니라, 프리미티브당 50개의 하드웨어 샘플만으로도 거친 동역학 모델을 학습한다.
• 거친 동역학 모델을 사용해 모델 예측 제어(MPC)를 적용하여 임의의 목표에 도달하기 위한 프리미티브의 순서를 계획한다.
• 고수준 제어기에서 방향 지도 보상 방식을 도입하여 글로벌 위치 감지에서의 드리프트를 보정한다.
• 제어 문제를 두 단계로 분해한다: 먼저 다양한 프리미티브를 학습하고, 그 다음에 학습된 동역학 모델을 사용해 프리미티브의 순서를 계획한다.

Figure 1 : The hexapod Daisy used in the experiments. Using our hierarchical control framework, Daisy learned from scratch to reach goals as far as 12 meters in 2 hours of training.

실험 결과

연구 질문

• RQ1 계층적 강화학습 프레임워크는 실제 이동 학습에서 샘플 효율성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 이동 정책의 순환 매개변수화 방식은 고도의 자유도를 가진 하드웨어 로봇에서 학습 효율성을 향상시킬 수 있는가?
• RQ3 최소한의 하드웨어 데이터로 학습된 거친 동역학 모델이 임의의 목표를 향한 장기 계획에 효과적으로 기여할 수 있는가?
• RQ4 실제 환경에서 먼 거리의 목표지점, 다양한 지형, 감각 노이즈에 대해 이 프레임워크는 얼마나 잘 일반화되는가?
• RQ5 모델 자유와 모델 기반 요소의 조합이 실제 이동 학습에서 순수 모델 자유 또는 모델 기반 접근 방식을 능가하는가?

주요 결과

• Daisy 헥사포드 로봇은 하드웨어에서 직접 훈련한 지 단 두 시간 만에 출발 지점으로부터 최대 12미터 떨어진 목표지점에 도달하는 것을 성공적으로 학습했다.
• 재학습 없이도 다양한 환경(다양한 바닥재, 감각 노이즈 포함)에서 안정적으로 일반화되었으며, 이는 성능의 유연성을 보여준다.
• 방향 지도 보상 기반 고수준 제어기가 위치 드리프트를 보정하여, 추적 오차가 존재하는 상황에서도 정확한 목표 도달을 가능하게 했다.
• 하드웨어 실험에서 단일 목표지점 및 순차적 웨이포인트 작업 모두에서 안정적인 성능을 달성했다.
• 프리미티브당 50개의 샘플로 학습된 거친 동역학 모델을 활용해 프리미티브 공간에서 효율적이고 효과적인 계획이 가능했다.
• 이 방법은 실제 다리 달린 로봇에서 목표 지향적 이동을 위한 첫 번째 성공적인 하이브리드 모델 자유 및 모델 기반 강화학습 프레임워크를 구현했다.

Figure 2 : Hierarchical Control Flow Chart