[論文レビュー] CORA: Benchmarks, Baselines, and Metrics as a Platform for Continual Reinforcement Learning Agents

Sam Powers, Eliot Xing+3 more|arXiv (Cornell University)|Oct 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 71被引用数 9

ひとこと要約

CORAは、アタリ、プロクゲン、ミニハック、CHORESを含む多様な環境において、統一的で標準化されたベンチマーク、オープンソースのベースライン、および3つの新規指標（継続的評価、隔離された忘却、ゼロショットフォワード転送）を提供する継続的強化学習のための統合プラットフォームです。このプラットフォームにより、継続的RLエージェントの公平で再現可能な評価が可能となり、最新の手法であるCLEARですら、深刻な catastrophie forgetting（極端な忘却）と転移学習の課題に直面していることが示されています。

ABSTRACT

Progress in continual reinforcement learning has been limited due to several barriers to entry: missing code, high compute requirements, and a lack of suitable benchmarks. In this work, we present CORA, a platform for Continual Reinforcement Learning Agents that provides benchmarks, baselines, and metrics in a single code package. The benchmarks we provide are designed to evaluate different aspects of the continual RL challenge, such as catastrophic forgetting, plasticity, ability to generalize, and sample-efficient learning. Three of the benchmarks utilize video game environments (Atari, Procgen, NetHack). The fourth benchmark, CHORES, consists of four different task sequences in a visually realistic home simulator, drawn from a diverse set of task and scene parameters. To compare continual RL methods on these benchmarks, we prepare three metrics in CORA: Continual Evaluation, Isolated Forgetting, and Zero-Shot Forward Transfer. Finally, CORA includes a set of performant, open-source baselines of existing algorithms for researchers to use and expand on. We release CORA and hope that the continual RL community can benefit from our contributions, to accelerate the development of new continual RL algorithms.

研究の動機と目的

• 継続的RL研究における高い参入障壁（コードの欠落、高コストな計算リソース、標準化されたベンチマークの不在）を解消すること。
• 再現性のあるベースラインと評価プロトコルを提供することで、継続的RLの民主化を実現すること。
• 極端な忘却、柔軟性、ゼロショット転送といった多様な学習課題をカバーする継続的RL手法の体系的比較を可能にすること。
• モジュラーや拡張性に優れたコードと標準化された指標を提供することで、新規の継続的RLアルゴリズムの開発と評価を支援すること。
• 視覚的に豊かな家庭シミュレーションであるCHORESを含む、現実的で多様な環境を提供することで、現実世界の継続的学習エージェントの開発を加速すること。

提案手法

• CORAは、アタリ、プロクゲン、ミニハック、CHORESの4つの異なるベンチマークを統合しており、それぞれ一般化、スケーラビリティ、現実世界への適用性といった継続的学習の特定の側面を評価するように設計されています。
• プラットフォームは3つの主要な指標を導入しています：継続的評価（タスク系列全体での総合的パフォーマンス）、隔離された忘却（以前に学習したタスクでの忘却）、ゼロショットフォワード転送（未学習のタスク変種でのパフォーマンス）。
• CLEAR、EWC、P&Cを含む、既存の継続的RLアルゴリズムのオープンソース実装を提供しており、研究コミュニティによる直接比較や拡張が可能になっています。
• CHORESベンチマークは、変動するタスク、オブジェクト、部屋のレイアウトを持つ現実的な家庭環境をシミュレートしており、複雑で動的な状況下での一般化と転移の評価が可能になっています。
• すべてのベンチマークと指標は、GitHubにホストされたモジュラーかつ拡張可能なコードベースとして実装されており、再現性と既存の研究プロトコルへの容易な統合を保証しています。
• 統計的レポート（平均 ± 標準誤差）を用いた複数のタスク系列における実験により、手法のパフォーマンスを強固に比較することが可能になっています。

実験結果

リサーチクエスチョン

• RQ1 既存の継続的RLアルゴリズムは、一般化、スケーラビリティ、現実世界適用性といった継続的学習の異なる側面をテストする多様なベンチマークで、どのように性能を発揮するか？
• RQ2 順次的な環境で新しいタスクを学習する際、現在の手法は極端な忘却をどの程度軽減できているか？
• RQ3 視覚的に複雑な現実的環境（例：CHORES）において、ゼロショットフォワード転送を効果的に測定・向上させることができるか？
• RQ4 継続的評価、隔離された忘却、ゼロショットフォワード転送といった異なる指標は、現実世界の継続的学習パフォーマンスとどの程度相関しているか？
• RQ5 CHORES や MiniHack といった新しい多様なベンチマークで評価された場合、最新鋭の手法（例：CLEAR）にどのような限界があるか？

主な発見

• CLEARは、アタリとプロクゲンにおいて継続的評価の観点で他のベースラインを上回っていますが、より複雑な環境では顕著な忘却と限られた転移性能を示しています。
• CHORESベンチマークでは、EWCとP&Cが高額の忘却スコア（例：Mem-VaryObjectsではEWCが -3.2 ± 3.2）を示しており、以前に学習したタスクの保持が著しく劣っていることがわかりました。
• CLEARはMem-VaryTasks（2.6 ± 2.9）およびMem-VaryObjects（2.6 ± 2.9）で最高のゼロショットフォワード転送スコアを達成しており、EWC や P&C よりも優れた一般化性能を示しています。
• CHORESベンチマークは、トップパフォーマンスの手法ですら、未学習の部屋構成での転送に苦労していることを明らかにし、EWCは負の転送（例：Gen-MultiTrajで -4.9 ± 2.0）を示しました。
• 隔離された忘却指標は、EWCとP&Cが深刻な忘却（それぞれ -3.2 ± 3.2）を経験していることを示しており、一方でCLEARはタスク間でより安定したパフォーマンスを維持しています。
• プラットフォームの指標は、アタリのような標準ベンチマークで高いパフォーマンスを示すことは、より複雑で現実的な環境（例：CHORES）に一般化しないことを明らかにしています。これは、より良い評価基準の必要性を強調しています。