[論文レビュー] MBRL-Lib: A Modular Library for Model-based Reinforcement Learning

Luis A. Pineda, Brandon Amos+3 more|arXiv (Cornell University)|Apr 20, 2021

Reinforcement Learning in Robotics参考文献 37被引用数 15

ひとこと要約

MBRL-Lib は、連続制御におけるモデルベース強化学習（MBRL）の研究およびデプロイを加速することを目的とした、PyTorch ベースのオープンソースライブラリです。ダイナミクスモデル化、計画、ポリシー最適化のためのモジュラーで再利用可能なコンponentsを提供するとともに、MBPO や PETS といった最先端のアルゴリズムの再現性のある実装を備えており、Mujoco 環境間で一貫したパフォーマンスを発揮する迅速なプロトタイピング、デバッグ、ベンチマークが可能になります。

ABSTRACT

Model-based reinforcement learning is a compelling framework for data-efficient learning of agents that interact with the world. This family of algorithms has many subcomponents that need to be carefully selected and tuned. As a result the entry-bar for researchers to approach the field and to deploy it in real-world tasks can be daunting. In this paper, we present MBRL-Lib -- a machine learning library for model-based reinforcement learning in continuous state-action spaces based on PyTorch. MBRL-Lib is designed as a platform for both researchers, to easily develop, debug and compare new algorithms, and non-expert user, to lower the entry-bar of deploying state-of-the-art algorithms. MBRL-Lib is open-source at https://github.com/facebookresearch/mbrl-lib.

研究の動機と目的

• 研究者および実務家がモデルベース強化学習に参入する際の障壁を下げるために、モジュラーで再利用可能なソフトウェアフレームワークを提供すること。
• ダイナミクスモデルや制御目的といったコンponents間の複雑な相互作用に起因する、MBRLにおける再現性とデバッグの課題に対処すること。
• 最新のMBRLアルゴリズム（例：MBPO、PETS）を、すぐに変更可能で拡張可能な高精度の実装として、出荷時から提供すること。
• 共通の標準化されたコードベースを用いて、研究者が新しいアルゴリズムを構築・テスト・貢献できるように、コミュニティ主導の開発を促進すること。
• モデルフリーとモデルベースRLの間のパフォーマンス格差を、MBRL研究に適したアクセスしやすく、よく設計されたツールを提供することで埋めること。

提案手法

• 動的計算グラフと現代のディープラーニングワークフローへの容易な統合を可能にするために、ライブラリは PyTorch に基づいて構築されている。
• ダイナミクスモデル、プランナ、報酬関数、ポリシー最適化器といった、MBRLのコアコンponentsのためのモジュラー抽象化を提供し、プラグアンドプレイによる実験を可能にしている。
• MBRL-Lib は、より高い耐性を発揮するため、上位k個の「エリート」モデルを用いたモンテカルロロールアウトを用いた確率的アンサンブルモデルを実装している。
• シミュレートされた軌道を用いて、モデルベース計画（例：PETSにおけるCEM）およびモデルベースのオフポリシー強化学習エージェント（例：MBPOにおけるSAC）のファインチューニングを両方サポートしている。
• 損失の追跡、軌道プロット、標準化されたベンチマークのための評価パイプラインを含む、組み込みの可視化およびデバッグツールを備えている。
• すべての実装は正規化された観測値を使用しており、全データセット上で環境ステップ250ごとにダイナミクスモデルを再訓練し、MBPO用に検証用スプリットを用いている。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでオープンソースのライブラリは、モデルベース強化学習研究における複雑さをどのように軽減し、再現性を向上させることができるか？
• RQ2 MBPO や PETS といったMBRLアルゴリズムの標準化された、PyTorchベースの実装は、元の実装とどの程度同等のパフォーマンスを達成できるか？
• RQ3 アーキテクチャ上の選択（例：決定論的 vs. 確率的アンサンブル）は、MBRLにおける学習の安定性とサンプル効率にどのような影響を与えるか？
• RQ4 統一されたソフトウェアプラットフォームは、多様な環境間で新しいMBRLアルゴリズムの開発と比較をどの程度加速できるか？
• RQ5 ハイパーパramータの選択やデータ前処理（例：正規化、入力変換）は、MBRLの結果の再現性にどのような影響を与えるか？

主な発見

• MBRL-Lib における MBPO の実装は、Mujoco 2.0 の5つの環境で元の実装と同等のパフォーマンスを達成しており、Ant 環境ではより高い報酬を達成している。
• HalfCheetah 環境では、MBRL-Lib における MBPO の実装が元の実装よりパフォーマンスが低いことが判明し、ハイパーパramータや実装詳細に差異がある可能性がある。
• MBRL-Lib における PETS 実装は、CartPole および InvertedPendulum で一貫したパフォーマンスを示しているが、InvertedPendulum では MBPO よりも不安定性が高まっている。
• CartPole では、決定論的アンサンブルが PETS における学習速度を向上させたが、他の環境では確率的アンサンブルがより優れていた。
• MBRL-Lib における PETS 実装は、元の実装のパフォーマンスを再現できなかったが、これは元のコードベースにおける入力前処理や報酬関数設計の差異が原因である可能性が高い。
• ライブラリは文献からの主要な結果を成功裏に再現しており、標準化され、拡張可能なフレームワークとしてベンチマークとアルゴリズム開発の有用性を示している。