[論文レビュー] RLzoo: A Comprehensive and Adaptive Reinforcement Learning Library.

Zihan Ding, Tianyang Yu+4 more|arXiv (Cornell University)|Sep 18, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 4

ひとこと要約

RLzooは、高レベルおよび低レベルのAPI、適応的エージェント構築アルゴリズム、最適化されたハイパーパramータを備えた最新鋭のアルゴリズムの包括的リファレンス実装を提供する包括的で適応性のある強化学習ライブラリであり、DRLエージェント開発と再現可能性を簡素化する。このライブラリはAPIの簡潔さにおいて既存のライブラリを上回り、最大の数のリファレンスDRL実装を提供している。

ABSTRACT

Recently, we have seen a rapidly growing adoption of Deep Reinforcement Learning (DRL) technologies. Fully achieving the promise of these technologies in practice is, however, extremely difficult. Users have to invest tremendous efforts in building DRL agents, incorporating the agents into various external training environments, and tuning agent implementation/hyper-parameters so that they can reproduce state-of-the-art (SOTA) performance. In this paper, we propose RLzoo, a new DRL library that aims to make it easy to develop and reproduce DRL algorithms. RLzoo has both high-level APIs and low-level APIs, useful for constructing and customising DRL agents, respectively. It has an adaptive agent construction algorithm that can automatically integrate custom RLzoo agents into various external training environments. To help reproduce the results of SOTA algorithms, RLzoo provides rich reference DRL algorithm implementations and effective hyper-parameter settings. Extensive evaluation results show that RLzoo not only outperforms existing DRL libraries in its simplicity of API design; but also provides the largest number of reference DRL algorithm implementations.

研究の動機と目的

• 実用的デプロイメントに向けたDRLエージェントの構築、カスタマイズ、チューニングに要する膨大な作業を軽減すること。
• 多様なトレーニング環境において最新鋭のDRLパフォーマンスを再現するという課題に対処すること。
• 迅速なプロトタイピングとエージェントの高度なカスタマイズを両立できる統合的かつ拡張可能なフレームワークを提供すること。
• 適応的構築アルゴリズムを用いて、外部トレーニング環境へのカスタムエージェント統合を簡素化すること。
• 効果的なハイパーパramータ設定を備えた、大規模で明確にドキュメント化されたリファレンスDRLアルゴリズム実装のコレクションを提供すること。

提案手法

• ライブラリは、簡単なエージェント構築のための高レベルAPIと、DRLコンponentsの細かなカスタマイズのための低レベルAPIを提供する。
• 適応的エージェント構築アルゴリズムにより、手動設定なしでカスタムRLzooエージェントをさまざまな外部トレーニング環境に自動統合する。
• 最新鋭のDRLアルゴリズムの包括的なリファレンス実装が含まれており、それぞれが検証済みのハイパーパramータ設定を備えている。
• モジュラリティと拡張性に重点を置いた設計により、標準的および新規のDRLアルゴリズム開発を両立できる。
• 標準化されたインターフェースと自動互換性チェックを介して、多様な環境とのシームレスな相互作用をサポートする。
• ハイパーパramータ設定は、実証的パフォーマンスに基づいてキュレートされており、SOTA結果の信頼性ある再現を保証する。

実験結果

リサーチクエスチョン

• RQ1 DRLライブラリ設計をどのように簡素化すれば、DRLエージェントの開発と再現の障壁を低減できるか？
• RQ2 適応的エージェント構築アルゴリズムは、外部環境へのエージェント統合における手動設定をどの程度削減できるか？
• RQ3 最適化されたハイパーパramータ設定を備えたキュレート済みリファレンス実装が、再現可能性とパフォーマンスに与える影響は何か？
• RQ4 APIの使いやすさとアルゴリズムカバレッジの観点から、RLzooは既存のDRLライブラリとどのように比較できるか？
• RQ5 統合されたライブラリフレームワークは、DRL研究において、高レベルのプロトタイピングと低レベルのカスタマイズの両方を効果的にサポートできるか？

主な発見

• RLzooは、API設計の簡潔さと直感性において、既存のDRLライブラリを上回っており、開発が高速かつ統合が容易である。
• RLzooは、既存のライブラリの中で最大の数のリファレンスDRLアルゴリズム実装を提供しており、再現可能性とベンチマーク能力を強化している。
• 適応的エージェント構築アルゴリズムにより、カスタムエージェントが最小限のユーザー介入でさまざまな外部トレーニング環境に成功裏に統合された。
• キュレート済みのハイパーパramータ設定により、複数の環境で最新鋭のパフォーマンスを信頼性高く再現できるようになった。
• 広範な評価により、RLzooが迅速なプロトタイピングと高度なカスタマイズの両方を効果的にサポートしており、多様な研究および応用シナリオに適していることが確認された。