[论文解读] Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks

Bo-Han Wu, Suraj Nair+2 more|arXiv (Cornell University)|Jun 19, 2021

Reinforcement Learning in Robotics被引用 1

一句话总结

EMBR 是一种基于模型的强化学习方法，通过使用学习到的动力学模型、评论家网络和成功分类器，从原始图像中学习一组视觉-运动基础技能，实现对长时序任务的鲁棒、顺序执行。该方法在需要最多12项技能和14种不同基础技能的复杂桌面整理任务中实现了85%的成功率，并能泛化到新物体上。

ABSTRACT

In this paper, we study the problem of learning a repertoire of low-level skills from raw images that can be sequenced to complete long-horizon visuomotor tasks. Reinforcement learning (RL) is a promising approach for acquiring short-horizon skills autonomously. However, the focus of RL algorithms has largely been on the success of those individual skills, more so than learning and grounding a large repertoire of skills that can be sequenced to complete extended multi-stage tasks. The latter demands robustness and persistence, as errors in skills can compound over time, and may require the robot to have a number of primitive skills in its repertoire, rather than just one. To this end, we introduce EMBR, a model-based RL method for learning primitive skills that are suitable for completing long-horizon visuomotor tasks. EMBR learns and plans using a learned model, critic, and success classifier, where the success classifier serves both as a reward function for RL and as a grounding mechanism to continuously detect if the robot should retry a skill when unsuccessful or under perturbations. Further, the learned model is task-agnostic and trained using data from all skills, enabling the robot to efficiently learn a number of distinct primitives. These visuomotor primitive skills and their associated pre- and post-conditions can then be directly combined with off-the-shelf symbolic planners to complete long-horizon tasks. On a Franka Emika robot arm, we find that EMBR enables the robot to complete three long-horizon visuomotor tasks at 85% success rate, such as organizing an office desk, a file cabinet, and drawers, which require sequencing up to 12 skills, involve 14 unique learned primitives, and demand generalization to novel objects.

研究动机与目标

• 为解决在长时序任务中学习鲁棒且可重用的低层视觉-运动技能组合的挑战。
• 通过持续的成功监测，实现对错误和环境扰动具有鲁棒性的技能序列化。
• 利用所有技能的数据训练一种与任务无关的动力学模型，以提高样本效率和泛化能力。
• 将学习到的技能与符号规划器集成，实现在真实环境中高层任务的执行。
• 在涉及新物体和动态条件的复杂多阶段视觉-运动任务中实现高成功率。

提出的方法

• EMBR 在基于模型的强化学习框架中，利用学习到的动力学模型来规划并预测技能执行的结果。
• 评论家网络用于评估技能策略的质量，在训练过程中提供策略改进信号。
• 成功分类器充当密集奖励函数，并持续监测技能是否成功或失败，从而支持重试机制。
• 成功分类器将技能与真实世界条件对齐，使系统能够检测失败并在扰动下触发重试。
• 动力学模型在涵盖所有技能的多样化数据集上进行训练，使其与任务无关，并可在不同长时序任务中重复使用。
• 将学习到的视觉-运动基础技能及其前后置条件与现成的符号规划器组合，以解决复杂多阶段任务。

实验结果

研究问题

• RQ1 基于模型的强化学习框架能否从原始图像中学习到多样化的视觉-运动技能组合，并泛化到未见过的物体？
• RQ2 在存在扰动或失败的情况下，如何实现对技能成功的持续监测并支持重试？
• RQ3 能否在多个技能的数据上有效训练单一的、与任务无关的动力学模型，以提高样本效率？
• RQ4 学习到的技能在多大程度上可以与符号规划器组合，以解决长时序、多阶段任务？
• RQ5 该系统在涉及最多12个顺序技能的复杂真实世界视觉-运动任务中，可实现的最高成功率是多少？

主要发现

• EMBR 在涉及桌面整理、文件柜管理及抽屉操作的三项长时序视觉-运动任务中实现了85%的成功率。
• 该系统成功地在任务间编排了最多12种不同的技能，展示了技能组合的可扩展性。
• 该方法需要14种独特的学习到的视觉-运动基础技能，每项技能均通过成功分类器实现鲁棒执行。
• 与任务无关的动力学模型通过共享数据实现了在多样化技能上的高效学习。
• 该框架能够泛化到训练期间未见过的新物体，表明其具备强大的泛化能力。
• 将学习到的技能与符号规划器集成，实现了复杂多阶段流程的可靠执行。