[논문 리뷰] Benchmarking Reinforcement Learning Algorithms on Real-World Robots

A. Rupam Mahmood, Dmytro Korenkevych외 3명|arXiv (Cornell University)|2018. 09. 20.

Reinforcement Learning in Robotics인용 수 46

한 줄 요약

이 논문은 세 대의 로봇에 걸친 여섯 개의 실세계 로봇 RL 과제를 제시하고 네 가지 연속 제어 RL 알고리즘(TRPO, PPO, DDPG, Soft-Q)을 벤치마킹하여 하이퍼파라미터 민감도와 과제 간 전이성을 연구한다. 하이퍼파라미터가 성능에 큰 영향을 미치고, 좋은 구성은 기준선으로 일반화될 수 있는 반면 일부 알고리즘은 특정 과제에서 성능이 떨어진다.

ABSTRACT

Through many recent successes in simulation, model-free reinforcement learning has emerged as a promising approach to solving continuous control robotic tasks. The research community is now able to reproduce, analyze and build quickly on these results due to open source implementations of learning algorithms and simulated benchmark tasks. To carry forward these successes to real-world applications, it is crucial to withhold utilizing the unique advantages of simulations that do not transfer to the real world and experiment directly with physical robots. However, reinforcement learning research with physical robots faces substantial resistance due to the lack of benchmark tasks and supporting source code. In this work, we introduce several reinforcement learning tasks with multiple commercially available robots that present varying levels of learning difficulty, setup, and repeatability. On these tasks, we test the learning performance of off-the-shelf implementations of four reinforcement learning algorithms and analyze sensitivity to their hyper-parameters to determine their readiness for applications in various real-world tasks. Our results show that with a careful setup of the task interface and computations, some of these implementations can be readily applicable to physical robots. We find that state-of-the-art learning algorithms are highly sensitive to their hyper-parameters and their relative ordering does not transfer across tasks, indicating the necessity of re-tuning them for each task for best performance. On the other hand, the best hyper-parameter configuration from one task may often result in effective learning on held-out tasks even with different robots, providing a reasonable default. We make the benchmark tasks publicly available to enhance reproducibility in real-world reinforcement learning.

연구 동기 및 목표

• 재현 가능한 실세계 RL 연구를 가능하게 하기 위한 물리 로봇용 벤치마크 과제 도입.
• 다양한 실세계 로봇 과제에서 여러 가지 상용 RL 알고리즘을 평가한다.
• 학습 성능의 하이퍼파라미터 민감도와 과제 간 일관성을 분석한다.

제안 방법

• 상용 로봇 3대(UR5, Dynamixel MX-64AT, Create 2)를 사용해 여섯 개의 RL 과제를 정의한다.
• 지연을 줄이기 위해 환경과 에이전트를 분리된 프로세스로 실시간 RL을 구현한다.
• 오픈소스 구현을 사용해 TRPO, PPO, DDPG, Soft-Q-학습의 네 가지 연속 제어 알고리즘을 평가한다.
• UR-Reacher-2와 DXL-Reacher 과제에서 민감도 평가를 위해 무작위 하이퍼파라미터 탐색을 수행한다.
• UR-Reacher-2에서 최상의 성능 구성을 보류된 과제에 대해 일반화 가능성을 평가한다.
• 반복성, 초기화 효과를 분석하고 스크립트 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 상당한 제어 인터페이스 및 센서 모듈을 갖춘 여섯 가지 실세계 로봇 과제에서 최첨단 RL 알고리즘은 어떻게 수행되는가?
• RQ2 RL 성능은 서로 다른 과제에서 하이퍼파라미터 선택에 얼마나 민감한가?
• RQ3 하이퍼파라미터 구성이 보류된 과제나 로봇에 합리적인 기본값으로 전이되는가?
• RQ4 시뮬레이션이 아닌 실제 로봇에서 학습할 때의 실용적 도전 과제 및 반복성 고려사항은 무엇인가?

주요 결과

• 하이퍼파라미터 선택이 과제 전반에서 정책 품질에 큰 영향을 미친다.
• TRPO는 하이퍼파라미터 변화에 덜 민감한 경향이 있으며 최종 성능이 경쟁적이다.
• Soft-Q는 여러 UR5 및 DXL 과제에서 가장 빠르게 학습할 수 있지만 공격적 탐색으로 과열 문제가 생길 수 있다.
• DDPG는 이 연구에서 UR5 및 DXL 과제에서 성능이 낮게 나타났다.
• 일부 하이퍼파라미터 구성은 보류된 과제와 서로 다른 로봇에 걸쳐 합리적인 기준값으로 일반화된다.
• RL 솔루션은 때때로 스크립트 베이스라인보다 뒤처지지만, 스크립트 전략이 뚜렷하지 않은 Create-Docker와 같은 과제에서는 경쟁력이 있을 수 있다.