[論文レビュー] rlpyt: A Research Code Base for Deep Reinforcement Learning in PyTorch

Adam Stooke, Pieter Abbeel|arXiv (Cornell University)|Sep 3, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 52

ひとこと要約

rlpyt は、共有の高スループット基盤とさまざまなサンプリング/最適化構成を備え、3つの主要な深層RLアルゴリズムファミリー（ポリシー勾配、DQNの派生、Q-functionポリシー勾配）を実装するモジュラーな PyTorch ベースのコードベースを提供します。単一ノードの並列性、再現性、および小〜中規模のRL研究に実用的なツールを強調します。

ABSTRACT

Since the recent advent of deep reinforcement learning for game play and simulated robotic control, a multitude of new algorithms have flourished. Most are model-free algorithms which can be categorized into three families: deep Q-learning, policy gradients, and Q-value policy gradients. These have developed along separate lines of research, such that few, if any, code bases incorporate all three kinds. Yet these algorithms share a great depth of common deep reinforcement learning machinery. We are pleased to share rlpyt, which implements all three algorithm families on top of a shared, optimized infrastructure, in a single repository. It contains modular implementations of many common deep RL algorithms in Python using PyTorch, a leading deep learning library. rlpyt is designed as a high-throughput code base for small- to medium-scale research in deep RL. This white paper summarizes its features, algorithms implemented, and relation to prior work, and concludes with detailed implementation and usage notes. rlpyt is available at https://github.com/astooke/rlpyt.

研究の動機と目的

• 3つの主要な深層RLアルゴリズムファミリーを統合するための共有で高スループットな基盤の促進。
• PyTorch で一般的なRLアルゴリズムのモジュール化された、再利用可能な実装を提供。
• シリアル、並列、および非同期のサンプリングと最適化構成を通じた柔軟な実験を可能にする。

提案手法

• 共通の基盤上で3つのアルゴリズムファミリを実装する: ポリシー勾配（A2C, PPO）、DQNとその派生（Double, Dueling, Categorical, Rainbow, R2D2風）、およびQ-functionポリシー勾配（DDPG, TD3, SAC）。
• メモリ効率のために n ステップリターン、シーケンスリプレイ、優先度付きリプレイ、およびフレームベースのバッファリングをサポート。
• 複数のサンプリング構成（Serial、Parallel-CPU、Parallel-GPU、Alternating-GPU）と、PyTorch DistributedDataParallel（NCCL/gloo）を用いた同期・非同期の最適化の両方を提供。
• 柔軟な先頭次元とマルチモーダルデータを組織化するための namedarraytuple データ構造を導入。
• env_info と spaces のラッパーを備え、ローカルハードウェアで多数の実験を実行するための起動ユーティリティを含む、OpenAI Gym 互換性を確保。

実験結果

リサーチクエスチョン

• RQ1 単一のモジュラーなコードベースは、単一ノードのハードウェアで高スループットを維持しつつ、複数の深層RLアルゴリズムファミリーを効率的にサポートできるか。
• RQ2 異なるサンプリングと最適化構成（シリアル、並列CPU/GPU、非同期）が、一般的なRLベンチマークにおけるスループットと学習性能にどのように影響するか。
• RQ3 名前付きデータ構造（たとえば namedarraytuple）のような実用的なデータ構造は、さまざまなRLアルゴリズム全体でデータの組織化と拡張性をどのように改善するか。

主な発見

• rlpyt は Atari と MuJoCo 環境で、1つのコードベースを使用して競争力のある学習曲線を再現します。
• R2D2風の再帰リプレイ設定は、非分散環境で実証され、高いサンプルスループットを達成しています。
• 非同期および並列サンプリングモードはハードウェア利用率を向上させ、1台のワークステーション内でマルチGPUトレーニングを可能にします。
• マルチモーダル観測とバッチデータを展開せずに管理する新しい namedarraytuple データ構造を導入。
• このフレームワークはデバッグのためにシリアルモードを重視し、必要に応じて段階的に並列構成を採用します。