[論文レビュー] Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design

Matthew Thomas Jackson, Minqi Jiang+6 more|arXiv (Cornell University)|Oct 4, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本論文は、報酬関数の最適化を促進するための敵対的環境設計を用いて、ポリシー最適化器をメタ学習する手法GROOVEを提案する。カリキュラム学習を誘導するための新しい指標として、アルゴリズム的後悔（AR）を導入することで、Atariのような未学習環境におけるゼロショット一般化性能が著しく向上し、LPGなどの先行手法を上回る、耐性と転送性能の両面で優れた結果を得た。

ABSTRACT

The past decade has seen vast progress in deep reinforcement learning (RL) on the back of algorithms manually designed by human researchers. Recently, it has been shown that it is possible to meta-learn update rules, with the hope of discovering algorithms that can perform well on a wide range of RL tasks. Despite impressive initial results from algorithms such as Learned Policy Gradient (LPG), there remains a generalization gap when these algorithms are applied to unseen environments. In this work, we examine how characteristics of the meta-training distribution impact the generalization performance of these algorithms. Motivated by this analysis and building on ideas from Unsupervised Environment Design (UED), we propose a novel approach for automatically generating curricula to maximize the regret of a meta-learned optimizer, in addition to a novel approximation of regret, which we name algorithmic regret (AR). The result is our method, General RL Optimizers Obtained Via Environment Design (GROOVE). In a series of experiments, we show that GROOVE achieves superior generalization to LPG, and evaluate AR against baseline metrics from UED, identifying it as a critical component of environment design in this setting. We believe this approach is a step towards the discovery of truly general RL algorithms, capable of solving a wide range of real-world environments.

研究の動機と目的

• 未学習環境に適用されたメタ学習された強化学習最適化アルゴリズムにおける一般化ギャップを解消すること。
• メタトレーニング分布の特性が、ポリシーのメタ最適化（PMO）における一般化性能に与える影響を調査すること。
• メタトレーニング最適化器のための情報的で挑戦的なカリキュラムを自動生成する手法を開発すること。
• ポリシーのメタ最適化（PMO）における環境設計のタスクの情報量を測る代理指標として、アルゴリズム的後悔（AR）を導入すること。
• GROOVEが、LPGなどの既存手法と比較して、Atariのような分布外環境へのゼロショット転送性能が優れていることを実証すること。

提案手法

• メタ最適化器、環境キュレーター、エージェントの相互作用をモデル化するため、Meta-UPOMDPフレームワークを用いたポリシーのメタ最適化（PMO）の新規定式化を提案する。
• PMOに特化したレジレット近似としてのアルゴリズム的後悔（AR）を導入し、与えられたタスクにおけるメタ学習最適化器と最適ベースラインとの性能差を測定する。
• 勾配ベースの更新ルールを用いて、メタ学習最適化器のレジレットを最大化するように訓練されたレベルキュレーターを用いた、敵対的カリキュラム生成メカニズムを採用する。
• 二段階のトレーニングループを採用する：メタトレーニング段階では、動的にキュレートされた環境でエージェントを学習させ、エージェントのリターンとARに基づいてメタ最適化器を更新する。
• GROOVEの高速JAX実装を活用し、1台のV100 GPUでメタトレーニング時間を3時間に短縮し、広範な学術的利用を可能にした。
• 教師なし環境設計（UED）のアイデアをメタ強化学習の文脈に適応し、PLRをメタ最適化と環境キュレージをサポートするように拡張した。

Figure 1: Out-of-distribution performance on Atari—after meta-training exclusively on Grid-World levels, our method (GROOVE) significantly outperforms LPG on Atari. Improvement is measured as a percentage of mean human-normalized return over 5 seeds.

実験結果

リサーチクエスチョン

• RQ1 メタトレーニング分布の特性は、メタ学習されたRL最適化器の一般化性能にどのように影響するか？
• RQ2 アルゴリズム的後悔（AR）は、ポリシーのメタ最適化における情報的で挑戦的な環境を特定する有効な代理指標として機能するか？
• RQ3 ARを用いた敵対的環境キュレージは、標準的またはランダムなカリキュラム設計と比較して、より強固で一般化可能なRL最適化器を生成するか？
• RQ4 GROOVEは、LPGと比較して、Atariのような分布外環境へのゼロショット一般化性能で優れているか？
• RQ5 ARにおけるアントゴニストエージェントの影響は、メタトレーニングカリキュラムの質にどのように寄与するか？

主な発見

• GROOVEは、グリッドワールド環境に限定してメタトレーニングを行った後でも、Atariゲームにおける分布外一般化性能が著しく向上し、人間正規化報酬の観点でLPGを大きく上回った。
• アルゴリズム的後悔（AR）は、PMOにおける環境設計において重要な要因であると特定され、従来の指標が機能しないMin-Atarでは、ARがランダムサンプリングを上回る性能を示した。
• アブレーションスタディの結果、PLRやLPGはARなしでは不十分であり、ARにおけるアントゴニストエージェントが効果的なカリキュラム生成に不可欠であることが判明した。
• GROOVEは、困難なグリッドワールドレベルを含む分布内チャレンジに対しても、より高い耐性を示し、一般化能力の強化を裏付けた。
• 本手法により、1台のV100 GPUでメタトレーニング時間を3時間に短縮し、元のLPG実装と比較して10倍の高速化を達成した。これにより、広範な学術的採用が可能になった。
• GROOVEとLPGのオープンソース公開（JAXベース）により、一般RLアルゴリズム発見分野における将来的な研究の障壁が低減された。

Figure 2: GROOVE meta-training (left) and meta-testing (right). During meta-training, levels are sampled from both the level curator and sampler. Agents are trained by an optimizer for multiple updates, before a meta-optimizer updates the optimizer based on agent return. At the end of an agent’s lif