[論文レビュー] CleanRL: High-quality Single-file Implementations of Deep Reinforcement Learning Algorithms

Shengyi Huang, Rousslan Fernand Julien Dossa+2 more|arXiv (Cornell University)|Nov 16, 2021

Reinforcement Learning in Robotics参考文献 15被引用数 86

ひとこと要約

CleanRLは、統合された実験追跡とクラウド規模のオーケストレーションを備えた、深層強化学習アルゴリズムの高品質な単一ファイル実装を提供し、理解、プロトタイピング、およびスケーラブルな研究を支援します。

ABSTRACT

CleanRL is an open-source library that provides high-quality single-file implementations of Deep Reinforcement Learning algorithms. It provides a simpler yet scalable developing experience by having a straightforward codebase and integrating production tools to help interact and scale experiments. In CleanRL, we put all details of an algorithm into a single file, making these performance-relevant details easier to recognize. Additionally, an experiment tracking feature is available to help log metrics, hyperparameters, videos of an agent's gameplay, dependencies, and more to the cloud. Despite succinct implementations, we have also designed tools to help scale, at one point orchestrating experiments on more than 2000 machines simultaneously via Docker and cloud providers. Finally, we have ensured the quality of the implementations by benchmarking against a variety of environments. The source code of CleanRL can be found at https://github.com/vwxyzjn/cleanrl

研究の動機と目的

• 透明性が高く、単一ファイルにアルゴリズムの詳細を統合して理解しやすいDRL実装を提供する。
• グローバルスコープ変数を用いた簡略化されたコード構造により、迅速なプロトタイピングとデバッグを可能にする。
• 参照実装と競争力のある性能を維持しつつ、コードを簡潔に保つ。
• 実稼働ツールやクラウドインフラとの統合によるスケーラブルな実験を促進する。
• ドメイン横断でRL実験を追跡・比較するオープンなベンチマークプラットフォームを提供する。

提案手法

• 複数のDRLアルゴリズム（例：PPO、DQN、C51、SAC、TD3）を、さまざまな環境で高品質な自己完結型の単一ファイル実装として提供する。
• 読みやすさと学習を高めるために実装を簡潔化する（例えばAtariのPPOを337 LOCで実装）。
• 学習関連の詳細をすべて把握しやすくするため、単一のファイルにアルゴリズムと環境の特性を露出させる。
• Weights & Biasesを含む実験追跡ツールと、指標とビデオのTensorboardベースのロギングを提供する。
• DockerコンテナとTerraformを用いたクラウド対応ワークフローによる大規模オーケストレーションを提供する。
• 依存関係を避けつつ、任意のフレームワークに依存しない productionライクなツールを選択可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一ファイルにDRLアルゴリズムの実装を統合することは、モジュール式ライブラリと比較して透明性と理解の容易さを改善するか。
• RQ2 単一ファイル設計は、DRL研究におけるデバッグ速度と新機能のプロトタイピングの容易さにどのように影響するか。
• RQ3 CleanRLはクラウドインフラストラクチャと数千回の実験を再現性を維持しつつ効果的にスケールさせることができるか。
• RQ4 単一ファイル実装は標準環境での既存ベンチマークと競争力のある性能とどの程度一致するか。

主な発見

• 単一ファイルのPPO実装は、参考実装と競合する性能を達成しつつ（例：Breakout Atari）、337 LOCを使用している。
• グローバル名スコープ設計により、対話的デバッグが容易になり、対話シェルでほとんどの変数を露出させることで迅速なプロトタイピングが可能になる。
• CleanRLはWeighs & Biasesを介した extensiveな実験追跡をサポートし、コード、依存関係、ハイパーパラメータ、指標、ビデオを記録する。
• このプロジェクトは大規模オーケストレーション能力を示しており、過去にはDockerとクラウドプロバイダを用いて同時に2000台以上のマシンで実験を実行したことがある。
• Open RL Benchmarkは、AtariやMuJoCoを含む複数のドメインで7つ以上のアルゴリズムに跨る数千の実験を追跡する対話的アクセスを提供する。
• このワークフローは2020年にクラウドベースのオーケストレーションを用いて50,000時間以上の実験をサポートしてきた。