[论文解读] Meta Automatic Curriculum Learning

Rémy Portelas, Clément Romac+2 more|arXiv (Cornell University)|Nov 16, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 49被引用 5

一句话总结

本文提出元自动课程学习（Meta-ACL），一种框架，通过利用先前训练过的智能体的历史训练数据，使教师智能体能够在多种强化学习（RL）智能体之间泛化课程生成。通过使用能力向量匹配来迁移课程先验知识，所提出的方法AGAIN在参数化跑酷等复杂程序化环境中显著优于经典ACL，实现在具有挑战性设置下的近最优性能。

ABSTRACT

A major challenge in the Deep RL (DRL) community is to train agents able to generalize their control policy over situations never seen in training. Training on diverse tasks has been identified as a key ingredient for good generalization, which pushed researchers towards using rich procedural task generation systems controlled through complex continuous parameter spaces. In such complex task spaces, it is essential to rely on some form of Automatic Curriculum Learning (ACL) to adapt the task sampling distribution to a given learning agent, instead of randomly sampling tasks, as many could end up being either trivial or unfeasible. Since it is hard to get prior knowledge on such task spaces, many ACL algorithms explore the task space to detect progress niches over time, a costly tabula-rasa process that needs to be performed for each new learning agents, although they might have similarities in their capabilities profiles. To address this limitation, we introduce the concept of Meta-ACL, and formalize it in the context of black-box RL learners, i.e. algorithms seeking to generalize curriculum generation to an (unknown) distribution of learners. In this work, we present AGAIN, a first instantiation of Meta-ACL, and showcase its benefits for curriculum generation over classical ACL in multiple simulated environments including procedurally generated parkour environments with learners of varying morphologies. Videos and code are available at https://sites.google.com/view/meta-acl .

研究动机与目标

• 解决在大规模连续任务空间中训练多个RL智能体时，从零开始的自动课程学习（ACL）效率低下的问题。
• 通过复用先前训练智能体的知识，减少对专家知识或昂贵的任务探索的依赖。
• 形式化一种新型学习范式——课堂授课（CT），即单个教师为未知学习者分布生成定制化课程。
• 开发一种元学习方法，使ACL算法能够泛化到具有不同能力的智能体。
• 通过从过往训练运行中迁移课程先验知识，提升多任务、程序化RL环境中的样本效率和最终性能。

提出的方法

• 该方法将Meta-ACL形式化为一种在黑箱RL学习者分布上泛化课程生成的框架。
• 它提出了AGAIN，Meta-ACL的首个实现，利用预测试中提取的能力向量，将新智能体与先前有效的课程先验进行匹配。
• 能力向量在完整训练前，基于每个智能体在一组多样化任务上的表现计算得出。
• 系统通过基于能力向量相似度选择最相似的先验，复用过去智能体的高性能课程策略。
• 它将经典ACL（如ALP-GMM）与来自过往训练数据的归纳偏置相结合，实现更快收敛和更好泛化。
• 该方法支持从零开始训练和微调，消融实验表明，课程迁移优于随机或固定策略。

实验结果

研究问题

• RQ1 教师智能体能否在具有不同形态和能力的多个RL智能体之间泛化课程生成？
• RQ2 复用先前训练智能体的课程先验是否能提升样本效率和最终性能，相较于从零开始的ACL？
• RQ3 Meta-ACL在复杂、程序化生成的环境（如参数化跑酷任务）中的表现如何？
• RQ4 Meta-ACL的性能增益在不同训练设置下是否稳健，包括从零开始训练与微调？
• RQ5 Meta-ACL在多大程度上能减少对专家知识或全面任务空间探索的依赖？

主要发现

• 在短版BipedalWalker环境中，AGAIN-R的平均性能为19.0 ± 12.0，与最优值（20.1 ± 3.4，p = 0.6）无统计学显著差异，表明其接近最优性能。
• AGAIN-P在默认BipedalWalker环境中达到最高平均性能44.3 ± 3.5，显著优于ALP-GMM（38.6 ± 3.5，p < 0.05）。
• 在所有变体中，从零开始训练的性能始终优于微调，凸显了在此设置下基于梯度的迁移学习的脆弱性。
• 在默认Walker实验中，将ALP-GMM与IN结合在第二轮训练中具有负面影响，但在短版Walker任务中至关重要，使AGAIN-R优于所有其他变体。
• IN-P变体（仅使用来自过往训练的归纳偏置）在默认Walker任务中表现最佳，表明仅课程先验本身即可极为有效。
• 在最具挑战性的短版Walker设置中，AGAIN-R的平均性能为19.0，显著优于ALP-GMM（10.2 ± 11.5）和其他基线，证明了元学习课程迁移的价值。