[论文解读] Learning to Generalize Across Long-Horizon Tasks from Human Demonstrations

Ajay Mandlekar, Danfei Xu+3 more|arXiv (Cornell University)|Mar 13, 2020

Reinforcement Learning in Robotics参考文献 36被引用 17

一句话总结

本文提出泛化模仿（Generalization Through Imitation, GTI），一种两阶段离线模仿学习框架，通过利用人类演示中的交叠状态，使机器人能够泛化到未见过的长时程操作任务。首先通过训练一个随机策略，利用轨迹交叠生成多样化行为，然后在这些轨迹回放上微调一个目标条件策略，GTI在真实机器人操作任务中对新颖的起始-目标组合实现了50%或更高的成功率。

ABSTRACT

Imitation learning is an effective and safe technique to train robot policies in the real world because it does not depend on an expensive random exploration process. However, due to the lack of exploration, learning policies that generalize beyond the demonstrated behaviors is still an open challenge. We present a novel imitation learning framework to enable robots to 1) learn complex real world manipulation tasks efficiently from a small number of human demonstrations, and 2) synthesize new behaviors not contained in the collected demonstrations. Our key insight is that multi-task domains often present a latent structure, where demonstrated trajectories for different tasks intersect at common regions of the state space. We present Generalization Through Imitation (GTI), a two-stage offline imitation learning algorithm that exploits this intersecting structure to train goal-directed policies that generalize to unseen start and goal state combinations. In the first stage of GTI, we train a stochastic policy that leverages trajectory intersections to have the capacity to compose behaviors from different demonstration trajectories together. In the second stage of GTI, we collect a small set of rollouts from the unconditioned stochastic policy of the first stage, and train a goal-directed agent to generalize to novel start and goal configurations. We validate GTI in both simulated domains and a challenging long-horizon robotic manipulation domain in the real world. Additional results and videos are available at https://sites.google.com/view/gti2020/ .

研究动机与目标

• 解决在专家演示有限的情况下，长时程机器人操作任务中模仿学习的泛化挑战。
• 克服标准模仿学习方法因缺乏探索而无法泛化到演示行为之外的局限性。
• 利用现实任务中的潜在结构模式——特别是共同状态处的轨迹交叠——以实现组合行为泛化。
• 开发一种可扩展、数据高效的框架，使物理机器人无需大量重训练或人工标注的任务规范即可实现真实部署。
• 证明由随机策略生成的轨迹回放可为面向目标的策略学习提供比原始演示更强的监督信号。

提出的方法

• 通过使用RoboTurk接口的遥操作收集人类演示，重点关注具有内在交叠结构的长时程任务。
• 在第一阶段训练一个条件变分自编码器（cVAE），以建模基于当前状态的未来观测分布，使用高斯混合模型（GMM）先验以鼓励生成多模态、多样化的轨迹。
• 在第一阶段训练一个目标条件的低层策略，利用cVAE的潜在变量从任意状态生成多样化、闭环的视觉-运动行为。
• 从第一阶段的无条件随机策略中收集轨迹，形成一组自生成的多样化轨迹数据集。
• 在第二阶段使用目标条件行为克隆（GCBC）在自生成轨迹上微调一个面向目标的策略，从而实现对新起始和目标配置的泛化。
• 在轨迹生成过程中使用cVAE先验，采样多样化潜在变量，通过利用轨迹交叠来鼓励探索新目标状态。

实验结果

研究问题

• RQ1 在少量人类演示基础上训练的策略，能否在长时程操作任务中泛化到未见过的起始和目标状态组合？
• RQ2 在状态空间中利用轨迹交叠是否能有效实现组合行为泛化，而无需额外演示或标注？
• RQ3 由随机策略生成的自生成轨迹回放，是否能为面向目标的模仿学习提供比直接模仿原始演示更强的监督？
• RQ4 两阶段GTI框架在具有复杂多阶段任务的真实机器人操作领域中有多高效？
• RQ5 现实任务中轨迹的交叠结构在多大程度上支持模仿学习中的泛化？

主要发现

• 在$A_0$任务实例（面包起始于桌面）中，第一阶段GTI策略的成功率为71.4%，成功轨迹同时抵达$A_G$和$B_G$目标。
• 在$B_0$任务实例（面包起始于封闭容器中）中，第一阶段策略的成功率为46.7%，其中42%的成功轨迹抵达了新颖的目标配置。
• 第二阶段面向目标的GTI策略在所有四个起始-目标组合中均实现了50%或更高的成功率，包括$A_0$到$B_G$和$B_0$到$A_G$等新颖组合。
• GTI策略优于在原始演示上训练的GCBC，证明自生成的多样化轨迹回放能为面向目标的策略学习提供更强的监督。
• 该方法在仿真环境和真实厨房操作设置中均成功泛化到未见过的任务配置，验证了其鲁棒性与可扩展性。
• 现实任务中不同轨迹在共同状态处交汇的交叠结构，是实现组合泛化的关键因素。