[논문 리뷰] Learning to Walk via Deep Reinforcement Learning

Tuomas Haarnoja, Sehoon Ha외 4명|arXiv (Cornell University)|2018. 12. 26.

Robotic Locomotion and Control인용 수 42

한 줄 요약

한정된 탐색으로 샘플 효율적인, 엔트로피 규제 딥 RL 방법이 하드웨어에서 직접 실세계 사족 보행을 최소한의 하이퍼파라미터 조정으로 학습하며, Minitaur에서 시연되고 시뮬레이션에서 검증되었습니다.

ABSTRACT

Deep reinforcement learning (deep RL) holds the promise of automating the acquisition of complex controllers that can map sensory inputs directly to low-level actions. In the domain of robotic locomotion, deep RL could enable learning locomotion skills with minimal engineering and without an explicit model of the robot dynamics. Unfortunately, applying deep RL to real-world robotic tasks is exceptionally difficult, primarily due to poor sample complexity and sensitivity to hyperparameters. While hyperparameters can be easily tuned in simulated domains, tuning may be prohibitively expensive on physical systems, such as legged robots, that can be damaged through extensive trial-and-error learning. In this paper, we propose a sample-efficient deep RL algorithm based on maximum entropy RL that requires minimal per-task tuning and only a modest number of trials to learn neural network policies. We apply this method to learning walking gaits on a real-world Minitaur robot. Our method can acquire a stable gait from scratch directly in the real world in about two hours, without relying on any model or simulation, and the resulting policy is robust to moderate variations in the environment. We further show that our algorithm achieves state-of-the-art performance on simulated benchmarks with a single set of hyperparameters. Videos of training and the learned policy can be found on the project website.

연구 동기 및 목표

• 명시적인 동역학 모델이나 보행 설계 없이 엔드투엔드 로케이션 학습을 촉진.
• 실세계 로봇에 대해 하이퍼파라미터에 강건한 샘플 효율적 RL 알고리즘 개발.
• 작업별 하이퍼파라미터 튜닝을 줄이기 위한 자동 엔트로피(온도) 튜닝 활성화.
• 물리적 사족 보행 로봇에서 안정적인 로코모션 보행 패턴을 직접 학습하고 강인성을 평가.

제안 방법

• 온도 매개변수의 수동 조정을 피하기 위해 엔트로피 제약 목적을 가진 최대 엔트로피 RL 확장.
• 대상 엔트로피를 달성하기 위해 온도를 자동으로 조정하는 이중 기울기 업데이트 사용.
• 두 개의 Q-함수와 확률적 가우시안 정책을 갖는 소프트 액터-크리틱 프레임워크를 두고 채택.
• 데이터 수집, 모션 캡처 보상, 그리고 별도의 학습 파이프라인을 갖춘 실제 하드웨어에서 비동기적으로 학습.
• OpenAI Gym 벤치마크와 실제 및 시뮬레이션 설정에서 Minitaur 로봇에 대해 평가.

실험 결과

연구 질문

• RQ1 엔트로피 제약 최대 엔트로피 RL이 최소한의 하이퍼파라미터 튜닝으로 실험 로봇에서 직접 보행 학습이 가능한가?
• RQ2 학습된 정책이 실제 세계의 보이지 않는 지형 및 교란에 일반화되는가?
• RQ3 시뮬레이션 벤치마크에서 기반 방법과 비교하여 방법의 성능, 고정 온도 대 적응 온도 비교는 어떠한가?
• RQ4 제안된 엔트로피 조정 메커니즘에서 어떤 데이터 효율성 및 강인성 이점이 나타나는가?

주요 결과

• 본 방법은 약 2시간(≈400 롤아웃) 만에 Minitaur에서 안정적인 실세계 보행을 달성한다.
• OpenAI Gym 벤치마크 전반에서 고정 온도와 동일한 하이퍼파라미터를 사용하면서 SAC의 성능과 같거나 이를 상회한다.
• 자동 엔트로피 조정은 보상 스케일과 목표 엔트로피에 대한 민감도를 줄여 작업 간 강인성을 향상시킨다.
• 시뮬레이션에서 방법은 데이터 효율성과 강인성에서 최첨단을 보이며, 측면 교란에 최대 220 N까지 저항한다.
• Minitaur에서 학습된 보행은 주기적이고 동기화되어 있으며 기본 트로트와 유사한 속도를 가지지만 관절 궤도는 다르고, 보이지 않는 장애물 및 지형으로 일반화된다(장애물이 있는 평지 학습).