[论文解读] Learning and Retrieval from Prior Data for Skill-based Imitation Learning

Soroush Nasiriany, Tian Gao+2 more|arXiv (Cornell University)|Oct 20, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

SAILOR 提出了一种基于技能的模仿学习框架，利用先前的演示数据来提高在学习新型操作任务时的数据效率和鲁棒性。通过结合用于结构化技能表征的时序可预测性目标，以及用于扩展策略监督的检索式数据增强方法，SAILOR 在模拟环境和真实世界设置中均显著优于当前最先进的模仿学习和离线强化学习方法。

ABSTRACT

Imitation learning offers a promising path for robots to learn general-purpose behaviors, but traditionally has exhibited limited scalability due to high data supervision requirements and brittle generalization. Inspired by recent advances in multi-task imitation learning, we investigate the use of prior data from previous tasks to facilitate learning novel tasks in a robust, data-efficient manner. To make effective use of the prior data, the robot must internalize knowledge from past experiences and contextualize this knowledge in novel tasks. To that end, we develop a skill-based imitation learning framework that extracts temporally extended sensorimotor skills from prior data and subsequently learns a policy for the target task that invokes these learned skills. We identify several key design choices that significantly improve performance on novel tasks, namely representation learning objectives to enable more predictable skill representations and a retrieval-based data augmentation mechanism to increase the scope of supervision for policy training. On a collection of simulated and real-world manipulation domains, we demonstrate that our method significantly outperforms existing imitation learning and offline reinforcement learning approaches. Videos and code are available at https://ut-austin-rpl.github.io/sailor

研究动机与目标

• 为解决传统模仿学习在复杂、长时程任务中数据需求高且泛化能力脆弱的问题。
• 通过利用先前任务的交互数据，提高数据效率和策略鲁棒性。
• 开发一种基于技能的框架，将先前经验中的知识内化并为新任务提供上下文化支持。
• 克服现有基于技能的模仿学习方法的局限性，如不可预测的技能表征和策略学习中监督不足的问题。
• 证明将结构化技能学习与检索增强的策略训练相结合，可在未见过的操作任务上实现强大的泛化能力。

提出的方法

• 一种基于技能的模仿学习框架，利用带有时序可预测性目标的变分自编码器，从先验数据中提取时序扩展的感官运动技能。
• 时序可预测性目标用于估计子轨迹之间的时序距离，促进更可预测且解耦的潜在技能空间。
• 一种基于检索的数据增强机制，选择与目标任务演示具有高潜在技能相似性的先验子轨迹，以扩展策略监督。
• 策略被训练为输出潜在技能，从而实现分层决策，将高层任务推理与低层动作执行解耦。
• 该方法采用多阶段训练流程：首先在先验数据上预训练技能模型，然后在通过检索增强的先验数据扩充的目标任务演示上微调策略。
• 超参数经过调优以实现最佳性能，包括子轨迹长度 H=10、潜在技能维度 64，以及从最多 300,000 个先验样本中采样检索。

实验结果

研究问题

• RQ1 如何有效利用先验数据以提高在新型操作任务中模仿学习的数据效率？
• RQ2 在技能表征学习中，哪些设计选择能带来更可预测且可泛化的技能？
• RQ3 检索增强的数据增强在多大程度上能提升策略泛化能力并减少在有限目标任务演示集上的过拟合？
• RQ4 在下游策略性能方面，与标准 VAE 方法相比，技能学习中引入时序可预测性有何优势？
• RQ5 一种同时利用先验数据进行技能学习和策略学习的基于技能的框架，是否能优于仅将先验数据用于技能学习的方法？

主要发现

• SAILOR 在一系列模拟和真实世界操作任务中，显著优于当前最先进的模仿学习和离线强化学习方法。
• 引入时序可预测性目标可带来更结构化且可预测的技能表征，降低策略执行无关技能的倾向。
• 基于检索的数据增强增加了策略训练的有效监督，缓解了在小样本目标任务演示集上的过拟合和协变量偏移问题。
• 在 Franka Kitchen 和 CALVIN 环境中，SAILOR 的成功率高于 BC-RNN、IQL 和 FIST，尤其在长时程任务中表现更优。
• 该方法在真实世界任务中表现出强大的零样本泛化能力，包括 Breakfast 和 Cook 环境，平均成功率超过 80%。
• 消融实验确认，时序可预测性目标和基于检索的增强均对性能提升至关重要，每个组件均显著贡献于数据效率和鲁棒性。