[论文解读] Learning Multi-Stage Tasks with One Demonstration via Self-Replay

Norman Di Palo, Edward Johns|arXiv (Cornell University)|Nov 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 8

一句话总结

本文提出 Self-Replay，一种自监督模仿学习方法，使机器人能够仅通过一次人类示范即学会复杂、日常的多阶段操作任务。通过自主地通过主动重定位物体和开环重放收集数据，该方法在无需事先了解物体信息或训练期间人工干预的情况下，实现了在多样化任务中的高成功率。

ABSTRACT

In this work, we introduce a novel method to learn everyday-like multi-stage tasks from a single human demonstration, without requiring any prior object knowledge. Inspired by the recent Coarse-to-Fine Imitation Learning method, we model imitation learning as a learned object reaching phase followed by an open-loop replay of the demonstrator's actions. We build upon this for multi-stage tasks where, following the human demonstration, the robot can autonomously collect image data for the entire multi-stage task, by reaching the next object in the sequence and then replaying the demonstration, and then repeating in a loop for all stages of the task. We evaluate with real-world experiments on a set of everyday-like multi-stage tasks, which we show that our method can solve from a single demonstration. Videos and supplementary material can be found at https://www.robot-learning.uk/self-replay.

研究动机与目标

• 使机器人能够仅通过一次人类示范即学会多阶段操作任务，最大限度减少人工投入。
• 克服现有模仿学习方法的局限性，这些方法需要多次示范或大量人工监督。
• 消除训练期间对先验物体知识、环境工程或手动重置程序的需求。
• 开发一种稳健且可扩展的框架，使其能泛化至多样化的现实世界任务，如抓取、放置、切割和堆叠。
• 通过一种新型恢复流程，实现推理时对视觉干扰物和外部扰动的鲁棒性。

提出的方法

• 将多阶段任务建模为粗略抓取与精细动作阶段交替进行，受 Coarse-to-Fine Imitation Learning 启发。
• 在单次示范后，机器人利用学习到的抓取策略自主重新定位至序列中的下一个物体。
• 机器人以开环模式重放示范动作，以收集下一阶段的新经验，此过程迭代重复。
• 引入 Active Self-Replay，一种高效变体，通过主动选择并重新定位物体，以最大化数据收集效率。
• 使用基于视觉的、未标定的腕部安装摄像头感知观测结果，并训练一个瓶颈策略网络以实现物体抓取。
• 在推理时实现一个管道，以支持错误恢复，并在执行过程中增强对视觉干扰物的鲁棒性。

实验结果

研究问题

• RQ1 机器人能否在不依赖先验物体知识的情况下，仅通过一次人类示范即学会执行复杂多阶段操作任务？
• RQ2 与需要多次示范的传统模仿学习相比，通过物体重定位和动作重放实现的自监督数据收集在效率上有多高？
• RQ3 该方法在存在视觉干扰物和环境扰动的真实世界任务中，其泛化能力有多强？
• RQ4 在样本效率和成功率方面，Self-Replay 与 SOTA 方法（如 Behavioral Cloning、RIL 和 DDPGfD）相比表现如何？
• RQ5 主动数据收集（Active Self-Replay）对数据效率和任务完成性能有何影响？

主要发现

• Self-Replay 在单阶段任务上实现了 100% 的成功率，在四阶段堆叠任务上实现了 80% 的成功率，且仅依赖一次人类示范。
• 相比之下，使用 30 次示范的 Relay Imitation Learning (RIL) 在四阶段任务上仅达到 35% 的成功率，表明 Self-Replay 在效率上具有 40 倍至 50 倍的优势。
• 该方法优于 Behavioral Cloning 和 DDPGfD，后者在仅使用一次示范时无法解决多阶段任务。
• Self-Replay 在推理时对视觉干扰物表现出鲁棒性，即使在非结构化的视觉环境中也能保持高性能。
• 消融实验确认，自重放机制和主动数据收集均对性能提升有显著贡献。
• 该方法在训练期间无需环境重置或人工监督，从而在单次示范后实现完全自主的数据收集。