[论文解读] Generative predecessor models for sample-efficient imitation learning

Yannick Schroecker, Mel Vecerík+1 more|arXiv (Cornell University)|Apr 1, 2019

Reinforcement Learning in Robotics被引用 12

一句话总结

该论文提出了一种用于模仿学习的生成式前驱模型（GPRIL），这是一种样本高效的模仿学习算法，利用条件生成模型推断导致专家观察到状态的可能过去状态-动作对。通过用这些合成的前驱轨迹增强演示数据，GPRIL 实现了从少量专家演示中进行稳健策略学习，并在模拟和真实世界机器人操作任务（包括仅用极少演示的插销任务）中实现了卓越的样本效率。

ABSTRACT

We propose Generative Predecessor Models for Imitation Learning (GPRIL), a novel imitation learning algorithm that matches the state-action distribution to the distribution observed in expert demonstrations, using generative models to reason probabilistically about alternative histories of demonstrated states. We show that this approach allows an agent to learn robust policies using only a small number of expert demonstrations and self-supervised interactions with the environment. We derive this approach from first principles and compare it empirically to a state-of-the-art imitation learning method, showing that it outperforms or matches its performance on two simulated robot manipulation tasks and demonstrate significantly higher sample efficiency by applying the algorithm on a real robot.

研究动机与目标

• 为解决模仿学习中样本效率低下的挑战，尤其是在专家演示稀缺或不完整的情况下。
• 在仅提供演示状态而无需完整轨迹、遥操作或奖励塑形的情况下，实现稳健的策略学习。
• 通过使用生成模型建模长期前驱分布，提升泛化能力和错误恢复能力。
• 实现在真实机器人系统上无需大量人工干预的模仿学习的实际部署。

提出的方法

• 该方法使用掩码自回归流（MAFs）建模在专家演示中观察到的未来状态条件下的过去状态-动作对的分布。
• 构建一个生成模型，学习生成合理的前驱轨迹——即导致给定演示状态的可能状态-动作对，从而扩展有效训练数据。
• 然后通过监督学习在专家演示与生成的前驱样本组合数据集上训练智能体，使其能够从偏差中恢复。
• 该方法基于最大似然原则，使智能体的状态-动作分布与专家分布相匹配。
• 该算法采用自监督循环：与环境交互 → 收集状态-动作-未来状态三元组 → 训练生成模型 → 增强训练数据 → 重新训练策略。
• 通过生成通往目标的合理中间路径，支持从部分演示（例如仅最终状态）中进行学习。

实验结果

研究问题

• RQ1 对前驱轨迹进行生成建模是否能提升模仿学习的样本效率？
• RQ2 智能体能否仅从专家演示的最终状态中学习到稳健策略，而无需完整轨迹？
• RQ3 与标准的模仿学习基线相比，使用生成式前驱模型是否能带来更好的泛化能力和错误恢复能力？
• RQ4 该方法是否能成功部署在真实机器人上，仅使用动力学教学且无需奖励信号？

主要发现

• 在两个模拟操作任务（包括插销任务）中，GPRIL 的性能优于或匹配最先进的 GAIL 方法，同时使用的环境交互样本数量少几个数量级。
• 在仅使用最终状态演示的插销任务中，GPRIL 保持了高成功率（超过 90%）并学习更快，而 GAIL 则变得不稳定且性能波动极大。
• 在具有可变位置插座的真实机器人上，GPRIL 仅使用 20 次动力学记录的演示和不到 19 小时的环境交互时间，便学习到了成功的插入策略，且收敛时间显著提前。
• 该方法在物理任务中对未见过的插入角度也表现出良好的泛化能力，展示了在真实环境下的鲁棒性和适应性。
• 由于能够生成合理的中间轨迹，该方法在训练数据稀疏（如仅提供最终状态）时仍能实现优异性能。
• 该方法实现了有效的模仿学习，无需遥操作、辅助奖励或手动任务分解，仅依赖自然的动力学教学接口。