[논문 리뷰] A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning

Laura Smith, Ilya Kostrikov외 1명|arXiv (Cornell University)|2022. 08. 16.

Robotic Locomotion and Control인용 수 25

한 줄 요약

이 논문은 모델 프리 딥 RL을 사용한 네발 보행 학습을 실제 세계에서 달성하며, 다양한 지형에서 약 20분 안에 보행이 가능함을 보여준다. 새로운 알고리즘보다 신중한 작업 설계와 구현에 중점을 둔다.

ABSTRACT

Deep reinforcement learning is a promising approach to learning policies in uncontrolled environments that do not require domain knowledge. Unfortunately, due to sample inefficiency, deep RL applications have primarily focused on simulated environments. In this work, we demonstrate that the recent advancements in machine learning algorithms and libraries combined with a carefully tuned robot controller lead to learning quadruped locomotion in only 20 minutes in the real world. We evaluate our approach on several indoor and outdoor terrains which are known to be challenging for classical model-based controllers. We observe the robot to be able to learn walking gait consistently on all of these terrains. Finally, we evaluate our design decisions in a simulated environment.

연구 동기 및 목표

• 완전한 모델 프리 딥 RL이 실제 세계에서 20분 이내에 직접 사족 보행을 학습시킬 수 있음을 보여준다.
• 새로운 알고리즘 구성요소 없이 실내 및 실외의 다양한 지형에서 보행의 견고성을 보임.
• 보행을 위한 샘플 효율적인 실제 RL을 가능하게 하는 설계 선택 및 시스템 요인을 규명한다.

제안 방법

• 데이터 대비 업데이트 비율을 높이기 위해 regularization(드롭아웃, 계층 정규화)을 포함한 SAC/DroQ 스타일 프레임워크에 기반한 오프폴리시 액터-크리틱 RL을 사용한다.
• 12개 관절의 PD 위치 타깃을 20 Hz로 설정하는 저수준 행동 공간을 활용한다.
• 상태를 루트 방향/속도, 관절 상태, 발 접촉, 이전 행동으로 정의하며; 행동은 PD 타깃이다.
• 목표 속도 구간 내에서 지면 평면에 투영된 단순 속도 기반 보상을 제공한다.
• 실제 로봇(A1)에서 JAX를 사용하여 Q-함수 앙상블과 타깃 네트워크를 활용해 동시 학습한다.
• 새로운 알고리즘 구성요소를 찾기보다 샘플 효율성을 달성하기 위한 다양한 정규화/노멀라이제이션 전략을 비교하여 샘플 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 완전한 모델프리 딥 RL이 짧은 실제 시간 내에 실제 세계에서 직접 사족 보행을 배울 수 있는가?
• RQ2 설계 선택(액션 공간, 보상, 정규화)이 보행을 위한 실제 RL의 샘플 효율성과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 시뮬레이션-실제 전이 없이도 여러 지형과 환경에서 실제 세계의 보행 정책 학습이 견고한가?
• RQ4 실시간 동기 per-step 업데이트와 에피소드 기반 업데이트 간의 차이가 실제 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• 적절한 설계를 갖춘 표준 모델 프리 RL을 사용하면 실제 세계에서 20분 이내(대략 20분의 총 wall-clock 시간)로 보행을 학습할 수 있다.
• 실내/실외를 포함한 다섯 지형에서의 학습은 새로운 알고리즘 구성 요소 없이도 효과적인 보행을 얻는다.
• 여러 가지 정규화/노멀라이제이션 전략(예: layer normalization, dropout)은 더 높은 업데이트 대 데이터 비율을 가능하게 해 샘플 효율성을 향상시킨다.
• 동기화된 per-step 업데이트는 GPU가 탑재된 노트북에서의 실시간 학습에 가능하고 유리하다.
• 액션 공간을 제한하고 관절에 PD 타깃을 선택하는 것이 실제 세계에서의 안정적인 학습에 결정적이다.