[論文レビュー] SuperSuit: Simple Microwrappers for Reinforcement Learning Environments

Justin K. Terry, Benjamin Black+1 more|arXiv (Cornell University)|Aug 17, 2020

Evolutionary Algorithms and Applications参考文献 8被引用数 8

ひとこと要約

SuperSuit は、強化学習環境における観測値、行動、報酬の前処理を効率的で再利用可能な「マイクロラッパー」として提供する Python ライブラリです。Gym および PettingZoo 環境をサポートし、フレームスタッキング、報酬クリッピング、観測値正規化などの一般的なラッパーを標準的かつ高性能に実装しています。同時に、ラムダ関数を介したカスタム変換を可能にすることで、バグの発生や開発のオーバーヘッドを低減します。

ABSTRACT

In reinforcement learning, wrappers are universally used to transform the information that passes between a model and an environment. Despite their ubiquity, no library exists with reasonable implementations of all popular preprocessing methods. This leads to unnecessary bugs, code inefficiencies, and wasted developer time. Accordingly we introduce SuperSuit, a Python library that includes all popular wrappers, and wrappers that can easily apply lambda functions to the observations/actions/reward. It's compatible with the standard Gym environment specification, as well as the PettingZoo specification for multi-agent environments. The library is available at https://github.com/PettingZoo-Team/SuperSuit,and can be installed via pip.

研究の動機と目的

• Gym および PettingZoo 環境の両方で使用可能な、中央集権的でメンテナンスが確実な強化学習ラッパーのライブラリが不足しているという問題に対処すること。
• 研究プロジェクトにおけるカスタムで一時的なラッパー実装によって引き起こされるコードの重複、バグ、パフォーマンスの非効率を低減すること。
• フレームスタッキング、報酬クリッピング、観測値正規化などの一般的な前処理技術を標準化・最適化し、再現性と効率性を向上させること。
• 単一エージェントおよびマルチエージェント強化学習環境をカバーするラッパーを提供し、エージェント固有の機能（例：エージェントの識別、アクションスペースのパディング）を備えた、それぞれに最適化されたラッパーを提供すること。
• 研究者が観測値、行動、報酬に対してカスタム変換をラムダラッパーを介して簡単に適用できるようにし、パフォーマンスを損なわずに柔軟性を高めること。

提案手法

• 各ラッパーを独立した状態なしの関数として実装し、環境を受け取りラップされた環境を返すことで、モularity と明確性を確保しています。
• 強化学習で一般的に使用される主な前処理技術（フレームスキップ、フレームスタッキング、観測値のリサイズ、報酬クリッピングなど）をすべてサポートし、最適化された実装を提供しています。
• マルチエージェント環境向けに特別なラッパーを提供しており、例えばエージェントの識別、観測値のパディング、アクションスペースのパディングなどを通じて、非対称またはサイズが異なる観測値に対応しています。
• ラムダラッパーにより、ユーザーが直接観測値、行動、報酬に対してカスタム関数を挿入でき、コアロジックを変更せずに拡張性を実現しています。
• 標準的な Gym および PettingZoo 環境 API と互換性を持つように設計されており、既存の強化学習フレームワークへのシームレスな統合を実現しています。
• すべてのラッパーはパフォーマンスを最適化しており、畳み込みニューラルネットワーク（CNN）との効率的な連携を想定したデフォルトの出力形状になっています。

実験結果

リサーチクエスチョン

• RQ1 多様な環境において、強化学習の前処理ラッパーの信頼性とパフォーマンスをどのように向上させられるか？
• RQ2 標準化された再利用可能なラッパーの導入が、強化学習研究におけるバグの発生と開発時間に与える影響は何か？
• RQ3 統一されたライブラリが、単一エージェント（Gym）とマルチエージェント（PettingZoo）の両方の環境を、一貫性があり高性能なラッパーで効果的にサポートできるか？
• RQ4 ラムダベースのラッパーの導入が、強化学習の実験における拡張性とカスタマイズ性をどのように向上させるか？
• RQ5 標準化された前処理ラッパーが、強化学習実験の再現性と計算効率をどの程度向上できるか？

主な発見

• SuperSuit は、広く使われている強化学習の前処理ラッパーを一元管理し、生産環境で使用可能なライブラリを提供しており、カスタムでエラーを起こしやすい実装への依存を減らしています。
• ライブラリは Gym および PettingZoo 環境をサポートしており、単一エージェントおよびマルチエージェント強化学習研究における広範な互換性を確保しています。
• フレームスタッキングや報酬クリッピングなどの最適化された再利用可能なラッパーを提供することで、計算効率を向上させ、学習のオーバーヘッドを低減しています。
• ラムダラッパーの導入により、研究者が観測値、行動、報酬に対してカスタム変換を簡単に適用でき、ボイラープレートコードの記述を避けることができます。
• ライブラリの設計はモularity を促進し、デバッグのしやすさを高めており、各ラッパーが明確に定義された1つの機能を果たしています。
• SuperSuit は pip を通じて利用可能で、GitHub にホスティングされており、強化学習研究コミュニティ全体のアクセス性と保守性を確保しています。