[논문 리뷰] Tianshou: a Highly Modularized Deep Reinforcement Learning Library

Jiayi Weng, Huayu Chen외 7명|arXiv (Cornell University)|2021. 07. 29.

Reinforcement Learning in Robotics참고 문헌 23인용 수 114

한 줄 요약

Tianshou는 온라인 및 오프라인 학습을 위한 빌딩블록의 유연성을 강조하는 고도로 모듈식의 PyTorch 기반 DRL 라이브러리이며, MuJoCo 벤치마크에서 평균적으로 레퍼런스 구현 대비 중간 성능이 15% 더 높음을 보인다.

ABSTRACT

In this paper, we present Tianshou, a highly modularized Python library for deep reinforcement learning (DRL) that uses PyTorch as its backend. Tianshou intends to be research-friendly by providing a flexible and reliable infrastructure of DRL algorithms. It supports online and offline training with more than 20 classic algorithms through a unified interface. To facilitate related research and prove Tianshou's reliability, we have released Tianshou's benchmark of MuJoCo environments, covering eight classic algorithms with state-of-the-art performance. We open-sourced Tianshou at https://github.com/thu-ml/tianshou/.

연구 동기 및 목표

• 연구 용도로 온라인과 오프라인 학습을 모두 지원하는 모듈식이고 신뢰할 수 있는 DRL 라이브러리에 대한 필요성을 해결합니다.
• 빠른 프로토타이핑과 유연한 실험을 촉진하기 위해 단일 대형 학습 스크립트가 아닌 빌딩블록을 제공합니다.
• MuJoCo 벤치마크와 오픈 소스 배포를 통해 신뢰성과 사용성을 입증합니다.

제안 방법

• 네 계층으로 구성된 모듈식 아키텍처: 캡슐화, 핵심 알고리즘, 상호 작용 API, 애플리케이션 스크립트.
• 리플레이 버퍼와 데이터 수집기를 갖춘 온폴리시(on-policy), 오프폴리시(off-policy), 및 오프라인 학습으로 학습 패러다임을 표준화합니다.
• 시뮬레이션과 추론 부하의 균형을 맞추기 위한 비동기 옵션을 갖춘 병렬 데이터 샘플링과 속도를 위한 EnvPool과의 호환성.
• 정규화, GAE, 자동 행동 스케일링, 부분 에피소드 부트스트래핑, 다목적 로거(TensorBoard, Weights & Biases) 등을 포함한 포괄적 유틸리티.
• 단위 테스트(94% 커버리지)와 MuJoCo 벤치마크 벤치마크를 포함한 오픈 소스 배포로 9개 환경에서 8개 알고리즘을 비교합니다.

실험 결과

연구 질문

• RQ1 빌딩블록과 학습 스크립트를 분리한 고도로 모듈화된 라이브러리가 DRL 연구를 어떻게 촉진할 수 있을까요?
• RQ2 단일 프레임워크 내에서 통합된 PyTorch 기반 인터페이스가 온라인, 오프라인, 모방 학습 기법을 효율적으로 지원할 수 있을까요?
• RQ3 레퍼런스 구현과 비교한 Tianshou의 MuJoCo 벤치마크의 신뢰성과 성능은 어느 수준인가요?

주요 결과

• Tianshou는 손쉬운 프로토타이핑을 위한 공통 DRL 인프라를 분리하는 모듈식 아키텍처를 달성합니다.
• 라이브러리는 94%의 코드 커버리지를 달성하고 MuJoCo 벤치마크를 통해 신뢰성을 보여줍니다.
• MuJoCo 벤치마크에서 9개 환경에서 레퍼런스 구현과 비교하여 중간 성능 기준으로 평균 15% 높은 점수를 기록합니다.
• 단일 인터페이스를 통해 오프라인 학습, GAIL, ICM 등 다양한 DRL 기법을 지원합니다.
• 간단한 설치, 철저한 문서화, 엄격한 코딩 표준(PEP8) 등 광범위한 사용성 특징으로 제공합니다.