[论文解读] Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning

Homer Walke, Jonathan T. Yang+5 more|arXiv (Cornell University)|Jul 11, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

该论文提出 ARIEL 框架，利用多样化离线机器人数据，实现新操作任务的自主、样本高效且可泛化的强化学习。通过在先验数据上预训练多任务策略，并在线使用自监督重置与任务策略进行微调，该方法在无需人工重置或大量在线数据收集的情况下，实现了与最优示范相当的性能。

ABSTRACT

Reinforcement learning (RL) algorithms hold the promise of enabling autonomous skill acquisition for robotic systems. However, in practice, real-world robotic RL typically requires time consuming data collection and frequent human intervention to reset the environment. Moreover, robotic policies learned with RL often fail when deployed beyond the carefully controlled setting in which they were learned. In this work, we study how these challenges can all be tackled by effective utilization of diverse offline datasets collected from previously seen tasks. When faced with a new task, our system adapts previously learned skills to quickly learn to both perform the new task and return the environment to an initial state, effectively performing its own environment reset. Our empirical results demonstrate that incorporating prior data into robotic reinforcement learning enables autonomous learning, substantially improves sample-efficiency of learning, and enables better generalization. Project website: https://sites.google.com/view/ariel-berkeley/

研究动机与目标

• 解决现实世界机器人强化学习中样本效率低、缺乏自主性以及泛化能力差的挑战。
• 使机器人能够以最少的在线交互学习新操作任务，且无需人工提供的重置。
• 通过利用多样化先验数据而非依赖特定任务的数据或示范，提升泛化能力。
• 开发一个统一框架，结合离线预训练与在线微调，实现自主技能获取。
• 证明先验数据可作为实现自主性、效率与鲁棒性的主要机制，应用于现实世界强化学习。

提出的方法

• 使用离线强化学习在多样化先验离线数据集（包含先前执行的任务）上预训练多任务策略。
• 使用任务嵌入来同时对策略进行前向（任务执行）和后向（重置）行为的条件控制。
• 通过交替执行任务和环境重置的自监督课程，在线微调预训练策略。
• 通过仅使用稀疏奖励和偶尔重置，适应多任务策略以学习特定任务的前向和后向策略。
• 在在线微调过程中优化任务嵌入，以使策略适应新任务的分布。
• 将前向和后向策略整合为单一智能体，实现无需人工干预的自主任务执行与环境重置。

实验结果

研究问题

• RQ1 能否利用先验离线数据初始化策略，以实现新机器人操作任务的快速、自主学习？
• RQ2 利用多样化先验数据在稀疏奖励的真实世界强化学习中，如何提升样本效率与泛化能力？
• RQ3 单个预训练策略是否能在线适应，以学习任务执行与环境重置，且无需人工提供的重置？
• RQ4 与从零开始学习或使用最优示范相比，先验数据在多大程度上提升性能？
• RQ5 该系统在预训练期间未见过的新物体和新环境中，泛化能力如何？

主要发现

• ARIEL 达到了与拥有目标任务离线示范访问权限的最优基线相当的最终性能，证明了其强大的样本效率。
• 在稀疏奖励、基于图像的机器人操作任务中，该方法优于从零开始学习，而标准强化学习在此类任务中无法取得进展。
• ARIEL 在无需重置的设置中实现了持续的学习进展，优于先前的自主学习方法（如 R3L）。
• 在多样化先验数据上预训练的策略，相比仅在单任务数据上训练的策略，对未见任务的泛化能力更强。
• 该系统成功以极少的在线数据和无需人工重置，学习了新的操作技能，实现了自主、非周期性的学习。