[논문 리뷰] RLzoo: A Comprehensive and Adaptive Reinforcement Learning Library.

Zihan Ding, Tianyang Yu외 4명|arXiv (Cornell University)|2020. 09. 18.

Reinforcement Learning in Robotics참고 문헌 27인용 수 4

한 줄 요약

RLzoo는 고수준 및 저수준 API, 적응형 에이전트 구축 알고리즘, 최적화된 초모수를 갖춘 최신 알고리즘의 광범위한 참조 구현을 통해 딥 강화학습(DRL) 에이전트 개발과 재현성을 단순화하는 종합적이고 적응형 강화학습 라이브러리입니다. API의 단순성에서 기존 라이브러리보다 뛰어나며, 가장 큰 규모의 참조 DRL 구현을 제공합니다.

ABSTRACT

Recently, we have seen a rapidly growing adoption of Deep Reinforcement Learning (DRL) technologies. Fully achieving the promise of these technologies in practice is, however, extremely difficult. Users have to invest tremendous efforts in building DRL agents, incorporating the agents into various external training environments, and tuning agent implementation/hyper-parameters so that they can reproduce state-of-the-art (SOTA) performance. In this paper, we propose RLzoo, a new DRL library that aims to make it easy to develop and reproduce DRL algorithms. RLzoo has both high-level APIs and low-level APIs, useful for constructing and customising DRL agents, respectively. It has an adaptive agent construction algorithm that can automatically integrate custom RLzoo agents into various external training environments. To help reproduce the results of SOTA algorithms, RLzoo provides rich reference DRL algorithm implementations and effective hyper-parameter settings. Extensive evaluation results show that RLzoo not only outperforms existing DRL libraries in its simplicity of API design; but also provides the largest number of reference DRL algorithm implementations.

연구 동기 및 목표

• 실제 배포를 위해 DRL 에이전트를 구축하고 맞춤화하며 튜닝하는 데 소요되는 상당한 노력을 줄이기 위해.
• 다양한 훈련 환경에서 최신 DRL 성능을 재현하는 데 도전하는 문제를 해결하기 위해.
• 빠른 프로토타이핑과 깊이 있는 맞춤화를 모두 지원하는 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• 적응형 구축 알고리즘을 통해 외부 훈련 환경에 맞게 커스텀 에이전트를 간편하게 통합하기 위해.
• 효율적인 초모수 설정을 갖춘 광범위하고 잘 문서화된 참조 DRL 알고리즘 구현 모음 제공하기 위해.

제안 방법

• 라이브러리는 DRL 컴ponent의 세밀한 커스터마이제이션을 위한 저수준 API와 간편한 에이전트 구축을 위한 고수준 API를 제공합니다.
• 적응형 에이전트 구축 알고리즘은 수동 설정 없이 다양한 외부 훈련 환경에 커스텀 RLzoo 에이전트를 자동으로 통합합니다.
• 최신 DRL 알고리즘에 대한 포괄적인 참조 구현 세트가 있으며, 각각 검증된 초모수 설정을 포함합니다.
• 모듈성과 확장성을 강조하여 표준 및 새로운 DRL 알고리즘 개발 모두를 지원하도록 설계되었습니다.
• 표준 인터페이스와 자동 호환성 검사를 통해 다양한 환경과의 원활한 상호작용을 지원합니다.
• 초모수 설정은 경험적 성능 기반으로 정제되어 최신 성능 결과의 신뢰할 수 있는 재현을 보장합니다.

실험 결과

연구 질문

• RQ1 DRL 라이브러리 설계는 어떻게 단순화되어야 하여 DRL 에이전트 개발과 재현의 장벽을 낮출 수 있을까요?
• RQ2 적응형 에이전트 구축 알고리즘이 외부 환경에 에이전트를 통합할 때 수동 설정을 얼마나 줄일 수 있을까요?
• RQ3 최적화된 초모수 설정을 갖춘 정제된 참조 구현 제공이 재현성과 성능에 어떤 영향을 미칠까요?
• RQ4 API의 사용성과 알고리즘 커버리지 측면에서 RLzoo는 기존 DRL 라이브러리와 어떻게 비교될 수 있을까요?
• RQ5 통합 라이브러리 프레임워크는 DRL 연구에서 고수준 프로토타이핑과 저수준 커스터마이제이션 양쪽을 효과적으로 지원할 수 있을까요?

주요 결과

• RLzoo는 API 설계의 단순성과 직관성에서 기존 DRL 라이브러리보다 뛰어나, 더 빠른 개발과 더 쉬운 통합을 가능하게 합니다.
• RLzoo는 기존 라이브러리 중에서 가장 많은 수의 참조 DRL 알고리즘 구현을 제공하여 재현성과 벤치마크 능력을 향상시킵니다.
• 적응형 에이전트 구축 알고리즘이 최소한의 사용자 간섭으로 다양한 외부 훈련 환경에 커스텀 에이전트를 성공적으로 통합합니다.
• 정제된 초모수 설정은 다양한 환경에서 최신 성능 결과의 안정적인 재현을 가능하게 합니다.
• 광범위한 평가를 통해 RLzoo가 빠른 프로토타이핑과 고도의 커스터마이제이션 양쪽을 모두 지원함을 확인하였으며, 다양한 연구 및 응용 시나리오에 적합합니다.