[논문 리뷰] Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion

Roland Hafner, Tim Hertweck외 7명|arXiv (Cornell University)|2020. 08. 06.

Robotic Locomotion and Control참고 문헌 38인용 수 10

한 줄 요약

이 논문은 동일한 보상 함수와 하이퍼파rameter를 사용하여 9종의 다리가 달린 및 바퀴가 달린 로봇(이족에서 6족까지)에서 다양하고 다양한 운동 능력을 학습할 수 있는 일반적이고 데이터 효율적인 다중 작업 강화 학습 프레임워크를 제시한다. 이 방법은 외부 장비나 플랫폼 전용 캘리브레이션 없이도 현장에서 자율적으로 학습할 수 있도록, 오직 차량 내 센서에 의존한다.

ABSTRACT

Modern Reinforcement Learning (RL) algorithms promise to solve difficult motor control problems directly from raw sensory inputs. Their attraction is due in part to the fact that they can represent a general class of methods that allow to learn a solution with a reasonably set reward and minimal prior knowledge, even in situations where it is difficult or expensive for a human expert. For RL to truly make good on this promise, however, we need algorithms and learning setups that can work across a broad range of problems with minimal problem specific adjustments or engineering. In this paper, we study this idea of generality in the locomotion domain. We develop a learning framework that can learn sophisticated locomotion behavior for a wide spectrum of legged robots, such as bipeds, tripeds, quadrupeds and hexapods, including wheeled variants. Our learning framework relies on a data-efficient, off-policy multi-task RL algorithm and a small set of reward functions that are semantically identical across robots. To underline the general applicability of the method, we keep the hyper-parameter settings and reward definitions constant across experiments and rely exclusively on on-board sensing. For nine different types of robots, including a real-world quadruped robot, we demonstrate that the same algorithm can rapidly learn diverse and reusable locomotion skills without any platform specific adjustments or additional instrumentation of the learning setup.

연구 동기 및 목표

• 다양한 로봇 형태에 걸쳐 최소한의 작업 특화 엔지니어링으로도 운동 능력을 학습할 수 있는 일반 목적의 강화 학습 프레임워크 개발.
• 다른 동역학적 특성과 위상 구조를 가진 로봇 간에도 동일한 보상 함수와 하이퍼파rameter가 강건하고 이식 가능한 운동 정책을 도출할 수 있는지 조사.
• 외부 센서나 장비 의존도를 최소화하여 실제 하드웨어에서 직접 자율 학습을 가능하게 하기.
• 모의 환경과 실제 환경에서 모두 데이터 효율성과 강건성을 입증.
• 동일한 보상 의미가 아키텍처나 보상 엔지니어링 없이도 자연스럽게 플랫폼 특화된 운동 행동을 유도하는지 검증.

제안 방법

• 동일한 하이퍼파rameter와 보상 함수를 사용하여 여러 로봇 형태에서 동시에 정책을 학습하는 데이터 효율적이고 오프-폴리시 다중 작업 강화 학습 알고리즘을 적용.
• 모든 로봇 유형에 동일한 의미적 보상 함수 세트(예: 전진 속도, 안정성, 에너지 효율성)를 사용.
• 외부 운동 추적 장비나 장비 없이도 차량 내 센서(예: 자이로스코프, 관절 인코더)에 의존하여 상태 추정 및 보상 계산을 수행.
• 9종의 모든 로봇 플랫폼에 동일한 강화 학습 에이전트와 하이퍼파ram터 설정을 적용하며, 실제 하드웨어의 4족 로봇에도 적용.
• 표준화된 구성 요소로 다양한 로봇 형태를 조립할 수 있는 모듈식 하드웨어 시스템(HEBI Robotics)을 활용하여 시뮬레이션과 실제 환경 간의 일관성 있는 전이를 가능하게 함.
• 초기 학습은 시뮬레이션을 통해 수행하고, 실제 하드웨어에서 미세 조정을 최소화하여 정책을 보정함.

실험 결과

연구 질문

• RQ1 동일한 하이퍼파rameter와 보상 함수를 가진 단일 강화 학습 알고리즘이 다양한 로봇 형태에서 다양하고 강건한 운동 능력을 학습할 수 있는가?
• RQ2 외부 상태 추정이나 장비 없이도 차량 내 센서만으로도 자율 학습을 지원할 수 있는 정도는 어느 정도인가?
• RQ3 이 프레임워크는 다양한 동역학 시스템에서 데이터 효율성과 빠른 수렴을 어떻게 확보하는가?
• RQ4 동일한 보상 의미가 각 로봇의 물리적 제약 조건을 반영하는 자연스러운 적응형 운동 행동을 유도할 수 있는가?
• RQ5 도메인 랜덤라이제이션 또는 재조정이 최소한으로 필요한 상태에서, 시뮬레이션에서 학습된 정책을 실제 하드웨어로 이식할 수 있는가?

주요 결과

• 동일한 강화 학습 알고리즘과 동일한 하이퍼파aram터, 보상 함수로 9종의 다른 로봇 유형(이족, 4족, 6족 포함)에 대해 운동 정책을 성공적으로 학습.
• 모든 정책는 외부 장비나 운동 추적 장비 없이도 차량 내 센서만으로 학습되었으며, 비정형 환경에서도 배치 가능.
• 프레임워크는 데이터 효율성을 확보하여 실제 하드웨어에서 몇 시간 내에 학습이 가능했으며, 실제 4족 로봇의 경우에도 적용됨.
• 동일한 보상 함수에도 불구하고, 각 로봇의 동역학적 특성에 자연스럽게 적응한 제어 정책이 도출되어, 빈트링, 퍼스링, 트라이포드 등 플랫폼 특화된 보행 패tern이 생성됨.
• 시뮬레이션에서 학습된 정책는 최소한의 또는 전혀 정밀 조정 없이도 실제 하드웨어로 성공적으로 이식되어 강력한 시뮬레이션-실세계 일반화 성능 입증.
• 프레임워크는 실제 환경에서의 자율 학습을 가능하게 하여, 일부 플랫폼에 대해 '현장에서의 실험'을 수행함으로써 설정 복잡도를 크게 감소.