[論文レビュー] Prioritized Level Replay

Minqi Jiang, Edward Grefenstette+1 more|arXiv (Cornell University)|Oct 8, 2020

Reinforcement Learning in Robotics参考文献 33被引用数 4

ひとこと要約

Prioritized Level Replay (PLR) は、TD-エラーを将来の学習可能性の代理指標として用い、学習可能性の高いレベルを動的に選択することで、手続き的コンテンツ生成（PCG）環境におけるサンプル効率性と一般化性能を向上させる。ProcGenベンチマークにおいて最先端の性能を達成し、テストリターンは従来のSOTAと同等であり、他の手法と組み合わせることで一般化性能が76%以上向上する。

ABSTRACT

Environments with procedurally generated content serve as important benchmarks for testing systematic generalization in deep reinforcement learning. In this setting, each level is an algorithmically created environment instance with a unique configuration of its factors of variation. Training on a prespecified subset of levels allows for testing generalization to unseen levels. What can be learned from a level depends on the current policy, yet prior work defaults to uniform sampling of training levels independently of the policy. We introduce Prioritized Level Replay (PLR), a general framework for selectively sampling the next training level by prioritizing those with higher estimated learning potential when revisited in the future. We show TD-errors effectively estimate a level's future learning potential and, when used to guide the sampling procedure, induce an emergent curriculum of increasingly difficult levels. By adapting the sampling of training levels, PLR significantly improves sample efficiency and generalization on Procgen Benchmark--matching the previous state-of-the-art in test return--and readily combines with other methods. Combined with the previous leading method, PLR raises the state-of-the-art to over 76% improvement in test return relative to standard RL baselines.

研究の動機と目的

• 手続き的生成環境における深層強化学習の一般化性能の低さという課題に対処すること。
• 将来の学習可能性に基づいて訓練レベルを的確にサンプリングすることで、サンプル効率性を向上させること。
• 事前に定義された難易度ランクに依存せずに、訓練中にレベルのサンプリングを動的に適応させること。
• 最も情報を含む学習信号を提供するレベルに注目することで、未観測のレベルへの一般化を向上させること。

提案手法

• PLR は、過去のトラジェクトリから得られる時系列差分（TD）エラーを用いて、各レベルの将来の学習可能性を推定する。
• 学習可能性と経験の新鮮さの両方をバランスさせるために、レベルスコア S と古さのタイムスタンプ C を維持する。
• 次の訓練レベルは、推定された学習可能性（S）と古さ（C）を組み合わせた確率分布からサンプリングされ、調整パrameter ρ によってトレードオフが制御される。
• 統一されたサンプリング手順により、未確認のレベルのサンプリング（全訓練セットから）とリプレイサンプリング（以前に見たレベルから）の両方をサポートする。
• 任意のオフポリシー強化学習アルゴリズムと互換性があり、データ拡張や他の一般化技術とも組み合わせ可能である。
• エピソードごとに、TDエラーとトラジェクトリ長を組み込んだスコア関数を用いてレベルスコアを更新する。

実験結果

リサーチクエスチョン

• RQ1 推定された学習可能性に基づいて訓練レベルを動的に優先することで、手続き的環境における一般化性能が向上するか？
• RQ2 将来の学習可能性の代理指標としてTDエラーを使用することは、サンプル効率性とテストパフォーマンスにどのように影響するか？
• RQ3 事前の難易度ラベルなしに、学習可能性に従ってレベルのサンプリングが誘導されるカリキュラムが自然に出現するか？
• RQ4 既存の最先端手法と組み合わせた場合、PLR が一般化性能をどの程度向上させるか？
• RQ5 学習可能性と古さのバランス（ρ を用いて制御）が、多様なPCG環境において性能に顕著な影響を与えるか？

主な発見

• PLR は ProcGen ベンチマークにおいて、従来の最先端手法と同等のテストリターンを達成し、最高の既存手法と同等の性能を発揮した。
• 従来の最良手法と組み合わせた場合、PLR は標準のRLベースラインに比べてテストリターンを76%以上向上させた。
• 優先度戦略（ランクまたは比例）に応じて、16ゲーム中10～11ゲームにおいて、サンプル効率性と一般化性能が顕著に向上した。
• 学習可能性の推定に基づき、訓練が進むにつれて難易度が高くなるレベルが自然に優先される、自己組織的カリキュラムが誘発された。
• 16ゲーム中10～11ゲームにおいて、性能向上が統計的に有意（p < 0.05）であり、多様な環境において一貫した改善が示された。
• アブレーションスタディにより、リプレイ分布におけるレベルスコアと古さの両方の組み合わせが、性能向上に不可欠であることが示された。