[論文レビュー] POPGym: Benchmarking Partially Observable Reinforcement Learning

Steven Morad, Ryan Kortvelesy+3 more|arXiv (Cornell University)|Mar 3, 2023

Mobile Crowdsensing and Crowdsourcing被引用数 5

ひとこと要約

POPGymは、15の多様な環境と複数の難易度、13のメモリモデルベースラインを備えた部分的に観測可能な強化学習（POMDP）の包括的ベンチマークを提供する。RLlibに基づいて構築されており、メモリを備えた強化学習エージェントの高速かつスケーラブルな評価を可能にし、コンsumer GPUで2時間未満で収束を達成する。また、これまでで最大規模のメモリモデル比較研究を可能にする。

ABSTRACT

Real world applications of Reinforcement Learning (RL) are often partially observable, thus requiring memory. Despite this, partial observability is still largely ignored by contemporary RL benchmarks and libraries. We introduce Partially Observable Process Gym (POPGym), a two-part library containing (1) a diverse collection of 15 partially observable environments, each with multiple difficulties and (2) implementations of 13 memory model baselines -- the most in a single RL library. Existing partially observable benchmarks tend to fixate on 3D visual navigation, which is computationally expensive and only one type of POMDP. In contrast, POPGym environments are diverse, produce smaller observations, use less memory, and often converge within two hours of training on a consumer-grade GPU. We implement our high-level memory API and memory baselines on top of the popular RLlib framework, providing plug-and-play compatibility with various training algorithms, exploration strategies, and distributed training paradigms. Using POPGym, we execute the largest comparison across RL memory models to date. POPGym is available at https://github.com/proroklab/popgym.

研究の動機と目的

• 既存のRLライブラリにおいて、部分的に観測可能な強化学習（POMDP）の包括的で多様かつ効率的なベンチマークが不足している問題に対処すること。
• POMDP設定における体系的な比較を可能にする、統合的かつ高性能なライブラリを提供し、複数のメモリモデルベースラインを統合すること。
• 低次元の観測を用いて、多様なタスク across で大規模かつ再現可能にメモリモデルを評価することを可能にすること。
• 標準化され拡張可能で、一般的なRLトレーニングパイプラインと互換性のあるベンチマークフレームワークを提供することで、RL分野の再現性の危機を克服すること。
• 通常、3〜4つのメモリモデルしかサポートしないRLライブラリのギャップを埋めること。特に、フレームスタックとLSTMに限定されたものが多い。

提案手法

• グリッドワールド、カードゲーム、制御タスクを含む15の多様なPOMDP環境の設計と実装。各環境には複数の難易度と、過学習を防ぐための手続き的レベル生成が組み込まれている。
• RLlib上に構築されたハイレベルなメモリAPIの開発。これにより、多様なRLアルゴリズム、探索戦略、分散トレーニング環境へのシームレスな統合が可能になる。
• LSTM、GRU、S4D、TCN、LMU、およびFARTやDNCといった新規モデルを含む13の異なるメモリモデルベースラインの実装。直接比較が可能になる。
• 低次元の観測を用いることで、高速なトレーニング（1台のコンsumer GPUで2時間未満）とメモリ消費量の削減を実現。
• すべての環境と難易度レベルにわたる標準化された評価プロトコルの採用により、公平で再現可能な比較を保証。
• 既存のRLlibエコシステムとの統合により、一般的なトレーニングおよびログ記録フレームワークと即座に接続可能（プラグアンドプレイ）になる。

Figure 2: Performance characteristics for POPGym memory baselines on random inputs. We use a recurrent state size of 256, a batch size of 64, and a episode length of 1024. We compute CPU statistics on a 3GHz Xeon Gold and GPU statistics on a 2080Ti, reporting the mean and 95% confidence interval ove

実験結果

リサーチクエスチョン

• RQ1 どのメモリモデルが、ナビゲーション領域に限らない多様なPOMDPタスクに最も良好に一般化するか？
• RQ2 最新の系列モデル（例：S4D、LMU、TCN）は、標準的なRNN（LSTM、GRU）と比較して、部分的に観測可能な設定でどのように性能を発揮するか？
• RQ3 長期間の依存関係や遅延報酬を伴うタスクにおいて、メモリモデルはどの程度性能を向上させるか？
• RQ4 部分観測性やノイズのレベルが異なる条件下で、さまざまなメモリアーキテクチャはどのように性能を発揮するか？
• RQ5 FARTやDNCといった新規モデルを含む、統一的かつ拡張可能なベンチマークPOPGymは、記憶拡張型RL分野における体系的かつ再現可能な進展を促進できるか？

主な発見

• LSTMおよびGRUモデルは、RepeatFirstおよびRepeatPreviousタスクでほぼ最適なパフォーマンス（平均報酬1.000）を達成しており、短期記憶タスクにおける優れた性能を示している。
• S4DモデルはRepeatFirstHardタスクで0.289の報酬を達成し、大多数のベースラインを上回った。これは、POMDPにおける構造的系列モデリングの可能性を示唆している。
• FARTおよびFWPモデルは、長期記憶を要するタスクで優れたパフォーマンスを発揮し、FARTはRepeatFirstHardで0.962、RepeatPreviousHardで0.867の報酬を記録した。
• MLPおよびPosMLPモデルは、記憶負荷の高いタスクで劣悪なパフォーマンスを示し、ハードバージョンでは0.5未満の報酬にとどまった。これは、非再帰的アーキテクチャがPOMDPにおいて限界を示していることを示している。
• フレームスタック（Fr.Stack）は、簡単なタスク（例：StatelessCartPoleEasyで1.000）では良好に機能したが、より難しいタスクでは著しく性能が低下した。これは、一般化能力に限界があることを示している。
• DNCモデルは混合結果を示し、RepeatFirstHardでは0.716の報酬を記録したが、より難しいバージョンでは負の報酬を記録した。これは、高い部分観測性下でのメモリリトリーブの不安定性を示唆している。

Figure 3: (Left) A summary comparison of baselines aggregated over all environments. We normalize the MMER such that 0 denotes the worst trial and 1 denotes the best trial for a specific environment. We report the interquartile range (box), median (horizontal line), and mean (dot) normalized MMER ov