[论文解读] Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
本文提出一个用于强化学习中课程学习的形式化框架，综述现有方法，并指出未来研究的开放问题和方向。
Reinforcement learning (RL) is a popular paradigm for addressing sequential decision tasks in which the agent has only limited environmental feedback. Despite many advances over the past three decades, learning in many domains still requires a large amount of interaction with the environment, which can be prohibitively expensive in realistic scenarios. To address this problem, transfer learning has been applied to reinforcement learning such that experience gained in one task can be leveraged when starting to learn the next, harder task. More recently, several lines of research have explored how tasks, or data samples themselves, can be sequenced into a curriculum for the purpose of learning a problem that may otherwise be too difficult to learn from scratch. In this article, we present a framework for curriculum learning (CL) in reinforcement learning, and use it to survey and classify existing CL methods in terms of their assumptions, capabilities, and goals. Finally, we use our framework to find open problems and suggest directions for future RL curriculum learning research.
研究动机与目标
- 给 RL 任务和样本定义一个通用且形式化的课程概念。
- 按表示、迁移、适应性和评估指标对课程学习方法进行分类。
- 综述 RL 课程中任务生成、排序和迁移的现有方法。
- 确定 RL 课程学习中的差距、开放问题和未来发展方向。
提出的方法
- 将课程形式化为一个关于任务样本或任务的有向无环图，并带有一个映射函数 g 到样本集合。
- 区分单任务、任务级和序列课程，以简化实际应用。
- 将迁移学习评估指标扩展到课程设置，包括弱迁移与强迁移的考虑。
- 将课程方法沿七个维度进行分类，包括任务生成、表示、迁移方法、排序器、适应性、评估和应用领域。
- 综述在 RL 课程中使用的任务生成、排序算法（重点在排序）以及迁移学习方法。
- 提供一个通过停止标准和课程设计成本考量来比较课程的框架。
实验结果
研究问题
- RQ1在强化学习中，课程的构成要素是什么，以及如何为 RL 任务表示它？
- RQ2在 RL 环境中如何生成、排序和评估课程？
- RQ3在一个课程中的任务之间使用了哪些迁移机制？它们如何影响学习？
- RQ4课程应如何分类，RL 课程学习还存在哪些开放问题？
主要发现
- 提出了一个通用的课程框架，允许将表示为带有汇聚节点的样本或任务的图。
- 课程可以是静态的或自适应的，评估应除了目标任务性能外还考虑课程设计成本。
- 现有工作大多关注排序，同时对任务生成和迁移方法也进行了综述和分类。
- 提出了七个维度用于分类，从而在文献中实现系统化的分类。
- 课程生成通常依赖于人工设计的课程，自动化方法的研究日益增多。
- 识别了 RL 课程学习的开放问题和未来方向。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。