[论文解读] ACuTE: Automatic Curriculum Transfer from Simple to Complex Environments

Yash Shukla, Christopher Thierauf+3 more|arXiv (Cornell University)|Apr 11, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

ACuTE 提出了一种新颖的框架，用于在强化学习中从低保真度（LF）环境自动迁移课程至高保真度（HF）环境，其中在简单环境中优化的课程被映射到复杂环境中，而无需直接与HF环境交互。该方法在具有挑战性的HF任务上实现了更快的收敛速度和更优的启动性能，包括在物理机器人上的Sim2Real迁移，优于领域自适应和自对弈等基线方法。

ABSTRACT

Despite recent advances in Reinforcement Learning (RL), many problems, especially real-world tasks, remain prohibitively expensive to learn. To address this issue, several lines of research have explored how tasks, or data samples themselves, can be sequenced into a curriculum to learn a problem that may otherwise be too difficult to learn from scratch. However, generating and optimizing a curriculum in a realistic scenario still requires extensive interactions with the environment. To address this challenge, we formulate the curriculum transfer problem, in which the schema of a curriculum optimized in a simpler, easy-to-solve environment (e.g., a grid world) is transferred to a complex, realistic scenario (e.g., a physics-based robotics simulation or the real world). We present "ACuTE", Automatic Curriculum Transfer from Simple to Complex Environments, a novel framework to solve this problem, and evaluate our proposed method by comparing it to other baseline approaches (e.g., domain adaptation) designed to speed up learning. We observe that our approach produces improved jumpstart and time-to-threshold performance even when adding task elements that further increase the difficulty of the realistic scenario. Finally, we demonstrate that our approach is independent of the learning algorithm used for curriculum generation, and is Sim2Real transferable to a real world scenario using a physical robot.

研究动机与目标

• 为解决在复杂、高保真度（HF）环境中课程生成的高计算成本问题。
• 实现在无需直接与HF领域交互的情况下，将低保真度（LF）环境中生成的课程方案迁移至HF环境。
• 提升在具有挑战性的HF任务上的学习效率和收敛速度，包括引入额外复杂性的任务。
• 通过实际的TurtleBot机器人演示Sim2Real迁移能力。
• 证明该方法对用于生成课程的强化学习算法具有独立性。

提出的方法

• 在动态复杂度降低的简化低保真度（LF）环境中生成并优化课程。
• 使用启发式映射函数将LF课程中的任务参数映射到高保真度（HF）环境中的对应任务。
• 仅迁移课程方案——即任务参数和顺序——同时基于高层次任务描述保留任务间的关联性。
• 在训练最终目标任务前，逐步在HF环境中学习源任务。
• 直接使用HF仿真中获得的策略，无需进一步学习即可在物理机器人上部署。
• 通过仅在物理动作（例如，标识物读取）确认任务执行时才判定为成功，确保鲁棒性。

实验结果

研究问题

• RQ1 在低保真度环境中优化的课程能否有效迁移到高保真度环境中以加速学习？
• RQ2 即使动力学特性存在显著差异，课程迁移是否仍能提升复杂HF任务的学习速度和启动性能？
• RQ3 所提出的方法是否独立于用于生成课程的强化学习算法？
• RQ4 通过课程迁移学习到的策略是否可在无需进一步训练的情况下成功部署在物理机器人上？
• RQ5 在计算成本和学习效率方面，课程迁移与领域自适应及其他基线方法相比如何？

主要发现

• ACuTE在目标HF任务上的收敛速度更快，且达到阈值的时间更短，优于领域自适应、自对弈以及教师-学生课程基线方法。
• 即使在HF环境中引入了额外复杂性，该方法仍表现出更优的启动性能。
• 该框架对用于课程生成的强化学习算法具有独立性，这一点通过在HF环境中使用不同算法后性能提升得到验证。
• 在物理TurtleBot机器人上成功实现了Sim2Real迁移，策略在直接部署后完成了物体破坏、抓取和制作任务。
• ACuTE的计算成本显著低于基线方法，其沉没成本主要来自LF课程优化和HF源任务学习。
• 即使LF与HF环境之间的映射不完美，仍观察到正向迁移，表明对映射误差具有鲁棒性。