[논문 리뷰] Shaping in Practice: Training Wheels to Learn Fast Hopping Directly in Hardware

Steve Heim, Felix Ruppert외 2명|arXiv (Cornell University)|2017. 09. 29.

Robotic Locomotion and Control참고 문헌 19인용 수 8

한 줄 요약

이 논문은 하드웨어 기반 단다리 로봇에서 빠른 점프를 직접 강화학습으로 학습시키기 위해 보조 휠(훈련 휠)을 제안한다. 이는 적재 하중을 제거하여 로봇의 효과적 중력을 감소시켜 보상 지도의 기울기 집합에서 샘플링 확률을 높임으로써, 충격이 있고 불안정하고 과도하게 제어되지 않은 시스템에서도 안정적이고 효율적인 학습을 가능하게 한다. 실험은 시도당 10분 이내에 성공적인 점프를 달성하였다.

ABSTRACT

Learning instead of designing robot controllers can greatly reduce engineering effort required, while also emphasizing robustness. Despite considerable progress in simulation, applying learning directly in hardware is still challenging, in part due to the necessity to explore potentially unstable parameters. We explore the concept of shaping the reward landscape with training wheels: temporary modifications of the physical hardware that facilitate learning. We demonstrate the concept with a robot leg mounted on a boom learning to hop fast. This proof of concept embodies typical challenges such as instability and contact, while being simple enough to empirically map out and visualize the reward landscape. Based on our results we propose three criteria for designing effective training wheels for learning in robotics. A video synopsis can be found at https://youtu.be/6iH5E3LrYh8.

연구 동기 및 목표

• 하드웨어에서 직접 강화학습 에이전트를 훈련시키는 데 도전하는 데서 비롯된 문제를 해결하기 위해, 불안정한 동역학과 희박한 보상으로 인해 학습이 어려운 상황을 해결한다.
• 복잡한 모델 기반 설계나 보상 형상화를 피함으로써 엔지니어링 노력의 감소를 도모한다.
• 일시적이고 가역적인 하드웨어 변경을 통해 학습 지도를 기계적으로 형상화하는 실용적인 방법을 탐색한다.
• 훈련 휠이 실제 로봇 운동 제어 작업에서 샘플 효율성과 성공률을 크게 향상시킬 수 있음을 입증한다.
• 다양한 로봇 시스템에 적용 가능한 효과적인 훈련 휠의 설계 기준을 수립한다.

제안 방법

• 로봇은 단일 구동 허리 관절과 능동적으로 작동하지 않는 탄성 발목을 갖춘 2차원 단다리 로봇이며, 운동을 평면으로 제한하기 위해 브레이크에 장착되어 있다.
• 학습 과제는 빠른 점프이며, 속도에 대한 조밀한 보상과 손상된 착지(예: 발끝부터 착지)에 대한 벌점이 존재한다.
• 훈련 휠은 적재 하중을 제거하여 로봇의 효과적 중력을 일시적으로 감소시켜, 낮은 중력 환경을 시뮬레이션함으로써 구현된다.
• 모델 기반 강화학습 알고리즘(PPO)을 사용하여 관절 위치 명령에 대한 정책을 최적화한다.
• 훈련 과정은 단계적으로 진행되며, 먼저 효과적 중력 감소 환경에서 시작하여 중간 단계로 이동한 후, 최종적으로 원래의 전체 중력 환경으로 전환된다.
• 환경 간 전환은 히우리스틱 기반으로 이루어지며, 기울기 연속성을 유지하고 다시 시작하지 않고도 학습을 유지하는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 훈련 휠—일시적인 기계적 수정—은 불안정하고 하드웨어 기반의 로봇 시스템에서 강화학습의 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 실행이 용이하고 학습 지도 형상화에 효과적인 훈련 휠의 핵심 설계 기준은 무엇인가?
• RQ3 효과적 중력을 감소시키면 보상 지도에서 중요한 기울기 집합에서 샘플링 확률이 얼마나 증가하는가?
• RQ4 단순한 환경에서 원래 환경으로의 단계적 전환은 치명적인 잊음 없이 수렴 속도를 높일 수 있는가?
• RQ5 내재적 동기 또는 보상 형상화와 같은 대안적 방법에 비해 훈련 휠은 강건성과 엔지니어링 노력 측면에서 어떻게 비교되는가?

주요 결과

• 특히 적재 하중 제거를 통한 효과적 중력 감소를 통한 훈련 휠의 사용으로, 로봇는 시도당 10분 이내에 빠른 점프를 학습할 수 있었으며, 높은 샘플 효율성을 입증하였다.
• 효과적 중력 감소 환경은 중요한 기울기 집합에서의 샘플링 확률을 크게 증가시켜 학습의 안정성과 신뢰성을 향상시켰다.
• 보상 지도는 경험적으로 매핑되었으며, 원래 환경에서는 중요한 기울기 집합이 작고 희박한 반면, 훈련 휠 환경에서는 훨씬 더 접근 가능하다는 것이 확인되었다.
• 훈련 휠 환경에서 원래 환경으로의 전환은 실현 가능하고 효과적이었으며, 성공적인 정책이 단계 간에 전이되어 완전한 재학습 없이도 유지되었다.
• 저자들은 효과적인 훈련 휠을 위한 세 가지 핵심 기준을 도출하였다: 적용 용이성, 중요한 기울기 집합에서의 샘플링 확률 증가, 환경 간의 매끄러운 전이.
• 결과적으로 기계적 형상화를 통한 훈련 휠은 보상 형상화나 복잡한 기계적 재설계에 비해 실용적이고 노력이 적은 대안임을 시사하며, 특히 불안정하고 과도하게 제어되지 않은 시스템에 매우 효과적이다.