[論文レビュー] Multi-task curriculum learning in a complex, visual, hard-exploration domain: Minecraft

Ingmar Kanitscheider, Joost Huizinga+10 more|arXiv (Cornell University)|Jun 28, 2021

Reinforcement Learning in Robotics参考文献 29被引用数 9

ひとこと要約

本論文は、Minecraftという複雑で視覚的かつ難易度の高い探索環境におけるマルチタスク学習のため、学習進捗に基づくカリキュラム強化学習手法を提案する。タスクの習得可能性に応じて探索報酬を動的に調整し、学習進捗をカリキュラムスケジューリングの指針として用いることで、82タスクの習得に成功し、均一サンプリングおよび静的報酬ベースラインを著しく上回った。

ABSTRACT

An important challenge in reinforcement learning is training agents that can solve a wide variety of tasks. If tasks depend on each other (e.g. needing to learn to walk before learning to run), curriculum learning can speed up learning by focusing on the next best task to learn. We explore curriculum learning in a complex, visual domain with many hard exploration challenges: Minecraft. We find that learning progress (defined as a change in success probability of a task) is a reliable measure of learnability for automatically constructing an effective curriculum. We introduce a learning-progress based curriculum and test it on a complex reinforcement learning problem (called "Simon Says") where an agent is instructed to obtain a desired goal item. Many of the required skills depend on each other. Experiments demonstrate that: (1) a within-episode exploration bonus for obtaining new items improves performance, (2) dynamically adjusting this bonus across training such that it only applies to items the agent cannot reliably obtain yet further increases performance, (3) the learning-progress based curriculum elegantly follows the learning curve of the agent, and (4) when the learning-progress based curriculum is combined with the dynamic exploration bonus it learns much more efficiently and obtains far higher performance than uniform baselines. These results suggest that combining intra-episode and across-training exploration bonuses with learning progress creates a promising method for automated curriculum generation, which may substantially increase our ability to train more capable, generally intelligent agents.

研究の動機と目的

• スパarsityな報酬と高い探索難易度を有する複雑で視覚的な環境における強化学習エージェントの訓練という課題に対処すること。
• エージェントのスキルセットの変化に応じて適応する自動カリキュラムを構築し、サンプル効率と性能を向上させること。
• マルチタスク強化学習における均一タスクサンプリングと静的探索報酬の限界を克服すること。
• 成功確率の低下が見られるタスクを再サンプリングすることで、深刻な忘却（catastrophic forgetting）を軽減すること。
• 学習進捗が現実世界の強化学習設定におけるカリキュラム構築に信頼できるシグナルであることを示すこと。

提案手法

• タスクの成功確率の時間的変化として学習進捗を定義し、習得可能性の代理指標として用いる。
• 1エピソード内での新規アイテム獲得を報酬とする、エピソード内探索報酬を実装する。
• エージェントが確実に入手可能なアイテムを除外する動的探索報酬を導入し、より到達が難しい目標に焦点を当てる。
• 改善および悪化するパフォーマンスに基づいてタスクをサンプリングする、双方向の学習進捗カリキュラムを設計する。
• 成功確率の推定値を用いて、忘却のリスクがあるタスクを再サンプリングし、深刻な忘却を低減する。
• 動的探索報酬と学習進捗カリキュラムを組み合わせ、タスクサンプリングと探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 学習進捗は、現在習得可能であるタスクを特定する信頼できるリアルタイムのシグナルとして機能するか？
• RQ2 エージェントの現在のスキルレベルに適応する動的探索報酬は、マルチタスク学習のパフォーマンスにどのように影響するか？
• RQ3 学習進捗に基づくカリキュラムは、難易度の高い探索環境における均一タスクサンプリングを上回るか？
• RQ4 カリキュラムはマルチタスク強化学習における深刻な忘却をどの程度軽減するか？
• RQ5 動的探索報酬と学習進捗カリキュラムを組み合わせることで、ベースライン手法に比べて著しく高いタスク習得が達成できるか？

主な発見

• 探索報酬なしの均一サンプリングでは、たった17タスクにとどまり、さらなる学習が停止した。
• 静的探索報酬を追加することで、1エピソード内探索を促進し、タスク習得数が43に増加した。
• 確実に入手可能なアイテムを除外するように動的探索報酬を調整することで、パフォーマンスは70タスクに向上した。
• 均一サンプリングではなく、双方向の学習進捗カリキュラムを用いることで、解決されたタスク数は82に上昇した。
• 学習進捗カリキュラムは自然にエージェントの学習曲線に従い、スキル習得のフロントラインに焦点を当てた。
• 双方向カリキュラムは、成功確率の低下が見られるタスクを再サンプリングすることで、深刻な忘却を効果的に低減した。