[논문 리뷰] Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking

Fabio Pardo|arXiv (Cornell University)|2020. 11. 15.

Evolutionary Algorithms and Applications인용 수 9

한 줄 요약

Tonic은 연속 제어 알고리즘의 빠른 프로토타이핑과 공정한 벤치마킹을 위한 모듈형이고 구성 가능한 딥 강화학습 라이브러리입니다. 연구자들이 재사용 가능한 구성 요소를 사용해 새로운 에이전트를 쉽게 구현하고 평가할 수 있도록 하며, PyTorch와 Tensorflow 2를 지원하고, 70개 환경에서 8개의 베이스라인 에이전트에 대한 대규모 벤치마크를 포함합니다. 실험의 재현성과 평가 파이프라인을 보장합니다.

ABSTRACT

Deep reinforcement learning has been one of the fastest growing fields of machine learning over the past years and numerous libraries have been open sourced to support research. However, most codebases have a steep learning curve or limited flexibility that do not satisfy a need for fast prototyping in fundamental research. This paper introduces Tonic, a Python library allowing researchers to quickly implement new ideas and measure their importance by providing: 1) general-purpose configurable modules 2) several baseline agents: A2C, TRPO, PPO, MPO, DDPG, D4PG, TD3 and SAC built with these modules 3) support for TensorFlow 2 and PyTorch 4) support for continuous-control environments from OpenAI Gym, DeepMind Control Suite and PyBullet 5) scripts to experiment in a reproducible way, plot results, and play with trained agents 6) a benchmark of the provided agents on 70 continuous-control tasks. Evaluation is performed in fair conditions with identical seeds, training and testing loops, while sharing general improvements such as non-terminal timeouts and observation normalization. Finally, to demonstrate how Tonic simplifies experimentation, a novel agent called TD4 is implemented and evaluated.

연구 동기 및 목표

• 기초적인 딥 강화학습 연구를 위한 유연하고 모듈형이며 쉽게 확장할 수 있는 코드베이스의 부족을 해결하기 위해.
• 새로운 RL 알고리즘의 구현과 공정한 비교를 단순화하는 통합 프레임워크를 제공하기 위해.
• 일관된 초모수와 관측 정규화, 비종료 타임아웃과 같은 개선 사항을 포함한 표준화된 학습 및 평가 루프를 통해 재현 가능한 실험을 가능하게 하기 위해.
• 핵심 알고리즘 구성 요소를 구성 가능한 플러그인 모듈로 분리하여 빠른 프로토타이핑을 지원하기 위해.
• 70개의 연속 제어 환경과 각 에이전트당 10개의 랜덤 시드를 포함한 대규모 벤치마크를 구축하여 새로운 RL 알고리즘의 공정한 성능 비교를 위한 신뢰할 수 있는 기준을 마련하기 위해.

제안 방법

• 핵심 구성 요소(예: 신경망, 리PLAY 버퍼, 탐색 전략 등)를 Python 사전을 통해 구성 가능한 모듈형 아키텍처를 설계하여 핵심 알고리즘 로직과 재사용 가능한 모듈을 분리합니다.
• 공유 가능한 재사용 가능한 모듈을 사용해 8개의 표준 연속 제어 에이전트(A2C, TRPO, PPO, MPO, DDPG, D4PG, TD3, SAC)를 일관성 있고 가독성이 좋은 방식으로 구현합니다.
• 통합 인터페이스를 통해 PyTorch와 Tensorflow 2를 모두 지원하여 프레임워크에 종속되지 않는 실험을 가능하게 합니다.
• 세 가지 핵심 스크립트를 통합합니다: `train`은 재현 가능한 로깅으로 실험을 실행하기 위한 것이고, `plot`은 여러 에이전트와 환경 간 결과를 시각화하기 위한 것이며, `play`는 시뮬레이션에서 훈련된 정책과 실시간으로 상호작용하기 위한 것입니다.
• OpenAI Gym, DeepMind Control Suite, PyBullet의 환경을 적절히 변형하여 Tonic 학습 파이프라인과 벤치마크 설정과의 호환성을 확보합니다.
• 명령행 인수를 통해 에이전트, 환경, 트레이너의 동적 구성이 가능한 파이썬의 해석적 평가 기능을 활용하여 유연성과 확장성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 모듈형이고 구성 가능한 딥 강화학습 라이브러리가 새로운 RL 알고리즘의 프로토타이핑과 평가에 소요되는 노력을 크게 줄일 수 있는가?
• RQ2 동일한 학습 및 평가 조건에서 다양한 70개의 연속 제어 환경에서 표준 베이스라인 에이전트의 성능은 어떻게 되는가?
• RQ3 공유되는 개선 사항(예: 관측 정규화, 비종료 타임아웃)의 포함 여부가 실험의 재현성과 벤치마크 비교의 공정성에 어느 정도 영향을 미치는가?
• RQ4 새로운 에이전트가 Tonic 프레임워크 내에서 얼마나 쉽게 구현되고 평가될 수 있는가?
• RQ5 Tonic 벤치마크는 연속 제어 분야에서 새로운 RL 알고리즘을 비교하기 위한 신뢰할 수 있고 표준화된 기준으로 기능할 수 있는가?

주요 결과

• Tonic은 핵심 알고리즘 로직과 재사용 가능한 모듈을 분리한 모듈형이고 구성 가능한 구성 요소 아키텍처 덕분에 새로운 RL 에이전트의 빠른 구현을 가능하게 합니다.
• 라이브러리의 학습, 플롯, 추론 스크립트는 일관된 로깅, 초모수, 평가 프로토콜을 통해 완전한 재현 가능한 실험을 가능하게 합니다.
• 벤치마크는 OpenAI Gym, DeepMind Control Suite, PyBullet에서 유래한 70개의 연속 제어 환경을 포함하며, 각 에이전트당 10개의 랜덤 시드를 제공하여 강력하고 공정한 성능 평가를 보장합니다.
• 새로운 에이전트인 TD4의 구현은 라이브러리의 신속한 프로토타이핑 능력을 입증하며, 최소한의 코드 수정으로도 새로운 알고리즘을 쉽게 개발할 수 있음을 보여줍니다.
• `plot` 스크립트는 정규 표현식을 통한 필터링과 사용자 정의 가능한 그림 설정을 지원하여 여러 에이전트와 환경 간 결과를 병렬로 시각화할 수 있습니다.
• `play` 스크립트는 PyBullet 및 DeepMind Control Suite 환경에서 훈련된 정책과 실시간으로 상호작용할 수 있으며, 펌웨어 지원 기능을 통해 정책 분석과 디버깅을 용이하게 합니다.