[論文レビュー] d3rlpy: An Offline Deep Reinforcement Learning Library

Takuma Seno, Michita Imai|arXiv (Cornell University)|Nov 6, 2021

Reinforcement Learning in Robotics参考文献 35被引用数 42

ひとこと要約

d3rlpyは、D4RLとAtariデータセットを用いた大規模な再現性ベンチマークを備え、プラグアンドプレイAPI、標準化されたインターフェースを持つPythonのオープンソースのオフライン・オンライン深層強化学習ライブラリです。

ABSTRACT

In this paper, we introduce d3rlpy, an open-sourced offline deep reinforcement learning (RL) library for Python. d3rlpy supports a set of offline deep RL algorithms as well as off-policy online algorithms via a fully documented plug-and-play API. To address a reproducibility issue, we conduct a large-scale benchmark with D4RL and Atari 2600 dataset to ensure implementation quality and provide experimental scripts and full tables of results. The d3rlpy source code can be found on GitHub: \url{https://github.com/takuseno/d3rlpy}.

研究の動機と目的

• Pythonでオープンソースかつ完全にドキュメント化されたオフライン深層RLライブラリを提供する。
• PyTorchで構築されたオフラインおよびオンラインRLアルゴリズムのためのプラグアンドプレイAPIを提供する。
• 研究者間の統合と再現性を容易にするためにインターフェースを標準化する。
• D4RLとAtari 2600データセットを対象としたベンチマークと実験スクリプトの提供によって再現性を示す。

提案手法

• オフラインおよびオンラインRLトレーニング用にscikit-learn風のAPIを導入する（fitとfit_online）。
• 標準化されたオフラインRLデータ処理のための専用MDPDatasetコンポーネントを定義する。
• 高レベルのトレーニングフローと低レベルの更新を分離するためのAlgorithmImplを用いた階層的なAlgorithm設計を実装する。
• カスタマイズ可能なニューラルアーキテクチャと分布型Q関数のためのEncoderFactoryとQFunctionFactoryを提供する。
• 安定したオフライントレーニングのためにScaler、ActionScaler、RewardScalerによるデータ前処理をサポートする。
• 完全な再現性スクリプトを用いてD4RLとAtariデータセットで忠実な実装を用いたアルゴリズムのベンチマーク。

実験結果

リサーチクエスチョン

• RQ1 オフライン深層RLアルゴリズムをどのようにプラグアンドプレイライブラリへ標準化できるか？
• RQ2 D4RLやAtariのようなデータセット間で再現性があり忠実なベンチマークを生む設計上の選択は何か？
• RQ3 統一APIはオフライン専用とオフライン→オンラインのトレーニングワークフローの両方を効果的にサポートできるか？
• RQ4 オフラインRLの性能と再現性を改善する前処理とモデルのカスタマイズオプションは何か？

主な発見

• d3rlpyは、完全にドキュメント化されたAPIとプラグアンドプレイ対応を備えた、オフラインおよびオンラインRLアルゴリズムの幅広いレンジを提供します。
• 標準化されたデータ処理（MDPDataset）とモジュール化されたコンポーネント（EncoderFactory、QFunctionFactory）を核に、カスタマイズを支援するライブラリです。
• D4RLとAtariデータセットに対する大規模ベンチマークは、忠実な実装品質と再現性を示しており、スクリプトと完全な結果が利用可能です。
• 包括的な前処理（Scaler、ActionScaler、RewardScaler）と柔軟なモデルアーキテクチャがオフラインRLの性能を援護します。
• この設計はオフライン学習からオンライン微調整へのシームレスな移行を可能にし、方策改善に関するさらなる研究を促進します。