[論文レビュー] Catalyst.RL: A Distributed Framework for Reproducible RL Research

Sergey Kolesnikov, Oleksii Hrinchuk|arXiv (Cornell University)|Feb 28, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 5

ひとこと要約

Catalyst.RL は、ハイパーパramータの設定可能性、非同期学習、オフポリシー強化学習アルゴリズムのサポートに重点を置いた、再現性のあるディープ強化学習研究を目的としたオープンソースで分散処理可能な PyTorch フレームワークです。このフレームワークにより、著者たちは遅いシミュレータ上でサンプル効率の高いエージェントを訓練し、NeurIPS 2018 AI for Prosthetics Challenge で3位を獲得しました。これは、最小限のハイパーパramータチューニングで、ベンチマーク環境全体で優れたパフォーマンスを示していることを示しています。

ABSTRACT

Despite the recent progress in deep reinforcement learning field (RL), and, arguably because of it, a large body of work remains to be done in reproducing and carefully comparing different RL algorithms. We present catalyst.RL, an open source framework for RL research with a focus on reproducibility and flexibility. Main features of our library include large-scale asynchronous distributed training, easy-to-use configuration files with the complete list of hyperparameters for the particular experiments, efficient implementations of various RL algorithms and auxiliary tricks, such as frame stacking, n-step returns, value distributions, etc. To vindicate the usefulness of our framework, we evaluate it on a range of benchmarks in a continuous control, as well as on the task of developing a controller to enable a physiologically-based human model with a prosthetic leg to walk and run. The latter task was introduced at NeurIPS 2018 AI for Prosthetics Challenge, where our team took the 3rd place, capitalizing on the ability of catalyst.RL to train high-quality and sample-efficient RL agents.

研究の動機と目的

• 既存のアルゴリズムにおける高いばらつきとハイパーパramータへの感受性によって引き起こされる強化学習分野の再現性の危機に対処すること。
• 公平で、アプリル・ツー・アプリルの比較が可能な、統合的でスケーラブルかつ設定可能なフレームワークを提供すること。
• 共有エピソードリプレイと効率的な通信を活用した大規模分散学習をサポートし、サンプル効率を向上させること。
• モジュール化され再利用可能なコンponentsと YAML による設定を活用して、RL アルゴリズムの迅速なプロトタイピングと評価を可能にすること。
• フレームワークの有効性を、NeurIPS 2018 AI for Prosthetics Challenge を含む挑戦的なベンチマークで示すこと。

提案手法

• 分散学習パイプラインを採用し、非同期なアクターと集中型の学習者を組み合わせることで、スケーラブルなマルチマシン学習を実現している。
• ハイパーパramータを完全に指定する YAML 設定ファイルを採用しており、ニューラルネットワークアーキテクチャ、最適化手法、探索戦略、勾配クリッピングなどの設定が可能である。
• DDPG、TD3、SAC などの複数のオフポリシー強化学習アルゴリズムを実装しており、nステップリターンや分布価値関数近似といった高度な技術もサポートしている。
• 共有エピソードリプレイバッファにより、複数のアルゴリズムインスタンスが同じデータ上で同時に学習可能であり、アーキテクチャやハイパーパramータ設定の間での公平な比較が可能である。
• 連続制御環境（OpenAI Gym、DeepMind Control Suite）と、補装脚制御のような複雑で遅いシミュレートタスクの両方をサポートしている。
• モデル定義には PyTorch を活用し、分散学習に適した効率的な通信プリミティブも統合している。

実験結果

リサーチクエスチョン

• RQ1 統合的で分散処理可能な RL フレームワークは、ディープ RL アルゴリズムの再現性と公平性を向上させることができるか？
• RQ2 共有エピソードリプレイと YAML によるハイパーパramータ設定の使用は、RL 学習の一貫性と効率性にどのような影響を与えるか？
• RQ3 分布価値関数と n ステップリターンの使用は、多様な連続制御環境においてパフォーマンスをどの程度向上させるか？
• RQ4 Catalyst.RL は、例えば1秒に1フレーム程度の遅いシミュレータ（生理学的モデルを用いた補装脚制御）においても、サンプル効率の高い学習を可能にするか？
• RQ5 並列学習により、最適なアルゴリズム・ハイパーパramータの組み合わせを迅速に特定できるか？

主な発見

• フレームワークは NeurIPS 2018 AI for Prosthetics Challenge で3位を達成し、約1フレーム/秒で動作するシミュレータ上で高いサンプル効率を示した。
• BipedalWalkerHardcore-v2 環境では、確率的ポリシーによる高い探索ばらつきが要因で、DDPG が TD3 や SAC よりも優れた性能を示した。
• ほとんどの環境において、n ステップリターンと分布価値関数近似がパフォーマンスを向上させたが、その恩恵は一貫的ではなく、さらなる分析を要した。
• 共有エピソードリプレイの使用により、複数の環境において異なるアルゴリズムやハイパーパラメータ設定間での公平な比較が可能になった。
• 6つのベンチマークタスクにおける DDPG、TD3、SAC の学習曲線から、特定のアルゴリズムや設定が常に優れているとは限らず、タスク固有のチューニングの必要性が示された。
• フレームワークの分散アーキテクチャにより、24 CPU サンプラーと1 GPU を用いた効率的な学習が可能となり、補装制御タスクにおいて安定した学習曲線と低いばらつきが得られた。