[論文レビュー] Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking

Fabio Pardo|arXiv (Cornell University)|Nov 15, 2020

Evolutionary Algorithms and Applications被引用数 9

ひとこと要約

Tonicは、連続制御アルゴリズムの迅速なプロトタイプ作成と公平なベンチマーク評価を目的としたモジュラーで設定可能な深層強化学習ライブラリです。研究者が再利用可能なコンポONENTを用いて新しいエージェントを簡単に実装・評価できるようにし、PyTorchおよびTensorFlow 2をサポートしており、70の環境にわたる8つのベースラインエージェントを用いた大規模なベンチマークを備えています。トレーニングおよび評価パイプラインは再現可能です。

ABSTRACT

Deep reinforcement learning has been one of the fastest growing fields of machine learning over the past years and numerous libraries have been open sourced to support research. However, most codebases have a steep learning curve or limited flexibility that do not satisfy a need for fast prototyping in fundamental research. This paper introduces Tonic, a Python library allowing researchers to quickly implement new ideas and measure their importance by providing: 1) general-purpose configurable modules 2) several baseline agents: A2C, TRPO, PPO, MPO, DDPG, D4PG, TD3 and SAC built with these modules 3) support for TensorFlow 2 and PyTorch 4) support for continuous-control environments from OpenAI Gym, DeepMind Control Suite and PyBullet 5) scripts to experiment in a reproducible way, plot results, and play with trained agents 6) a benchmark of the provided agents on 70 continuous-control tasks. Evaluation is performed in fair conditions with identical seeds, training and testing loops, while sharing general improvements such as non-terminal timeouts and observation normalization. Finally, to demonstrate how Tonic simplifies experimentation, a novel agent called TD4 is implemented and evaluated.

研究の動機と目的

• 基本的な深層強化学習研究のための柔軟でモジュラーかつ拡張しやすいコードベースの不足に対処する。
• 新しい強化学習（RL）アルゴリズムの実装と公平な比較を簡素化する統一されたフレームワークを提供する。
• 一貫したハイパーパramータと観測値正規化や非終端タイムアウトなどの改善機能を含む、標準化されたトレーニングおよび評価ループを通じて再現可能な実験を可能にする。
• コアアルゴリズムコンポonentsを設定可能でプラグイン可能なモジュールに分離することで、迅速なプロトタイプ作成を可能にする。
• 70の連続制御環境と各エージェントあたり10のランダムシードを用いた大規模なベンチマークを確立し、新しいRLアルゴリズムの比較のための信頼できる基準を提供する。

提案手法

• ニューラルネットワーク、リプレイバッファ、探索戦略などのコアコンポonentsをPythonの辞書による設定でモジュラーかつ設定可能に設計したアーキテクチャを採用する。
• 一貫性と可読性を確保するため、共通の再利用可能なモジュールを用いて8つの標準的な連続制御エージェント（A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3、SAC）を実装する。
• 統一されたインターフェースを通じてPyTorchおよびTensorFlow 2をサポートし、フレームワークに依存しない実験を可能にする。
• 3つの主要なスクリプトを統合する：`train`（再現可能なログ出力で実験を実行）、`plot`（複数のエージェントおよび環境間での結果を可視化）、`play`（シミュレーション内での訓練済みポリシーとの対話）。
• OpenAI Gym、DeepMind Control Suite、PyBulletの環境を変換して、Tonicのトレーニングパイプラインおよびベンチマーク設定と互換性を持たせる。
• コマンドライン引数による動的設定を可能にするPythonの解釈実行を活用し、エージェント、環境、トレーナーの設定を柔軟かつ拡張可能にする。

実験結果

リサーチクエスチョン

• RQ1 モジュラーで設定可能な深層強化学習ライブラリは、新しいRLアルゴリズムのプロトタイプ作成と評価に要する作業を顕著に削減できるか？
• RQ2 同一のトレーニングおよび評価条件のもとで、標準的なベースラインエージェントは70の多様な連続制御環境においてどのように性能を発揮するか？
• RQ3 共通の改善（例：観測値正規化、非終端タイムアウト）の導入が、ベンチマーク比較の再現性と公平性にどの程度影響を与えるか？
• RQ4 新しいエージェントはTonicフレームワーク内でどの程度簡単に実装・評価できるか？
• RQ5 Tonicベンチマークは、連続制御分野における新しいRLアルゴリズムの比較のための信頼できる標準基準として機能できるか？

主な発見

• Tonicは、コアアルゴリズム論理と再利用可能なモジュールを分離するモジュラーかつ設定可能なコンポonentアーキテクチャにより、新しいRLエージェントの迅速な実装を可能にする。
• ライブラリのトレーニング、プロット、推論スクリプトは、一貫したログ出力、ハイパーパramータ、評価プロトコルを備えており、完全な再現性を実現する。
• ベンチマークには、OpenAI Gym、DeepMind Control Suite、PyBulletからなる70の連続制御環境が含まれており、各エージェントに10のランダムシードが割り当てられており、強固で公平な性能評価が保証される。
• 新規アルゴリズムであるTD4の実装は、ライブラリの使いやすさを実証しており、最小限のコード変更で新規アルゴリズムのプロトタイプ作成が可能であることを示している。
• `plot`スクリプトは、正規表現によるフィルタリングとカスタマイズ可能な図設定をサポートし、複数のエージェントおよび環境間での結果を並べて可視化できる。
• `play`スクリプトは、PyBulletおよびDeepMind Control Suite環境でのポリシーのリアルタイム対話と、摂動サポートを備えており、ポリシーの分析やデバッグを容易にする。