[论文解读] Visual Adversarial Imitation Learning using Variational Models

Rafael Rafailov, Tianhe Yu+2 more|arXiv (Cornell University)|Jul 16, 2021

Reinforcement Learning in Robotics参考文献 47被引用 5

一句话总结

本文提出 V-MAIL，一种基于变分模型的对抗性模仿学习框架，通过潜在空间动力学模型和判别器来区分专家轨迹与智能体轨迹，从视觉演示中学习视觉-运动策略。通过在模型中实现在线策略滚动，V-MAIL 实现了稳定、样本高效的训练，表现出优越的渐近性能，并可仅使用演示实现新任务的零样本迁移。

ABSTRACT

Reward function specification, which requires considerable human effort and iteration, remains a major impediment for learning behaviors through deep reinforcement learning. In contrast, providing visual demonstrations of desired behaviors often presents an easier and more natural way to teach agents. We consider a setting where an agent is provided a fixed dataset of visual demonstrations illustrating how to perform a task, and must learn to solve the task using the provided demonstrations and unsupervised environment interactions. This setting presents a number of challenges including representation learning for visual observations, sample complexity due to high dimensional spaces, and learning instability due to the lack of a fixed reward or learning signal. Towards addressing these challenges, we develop a variational model-based adversarial imitation learning (V-MAIL) algorithm. The model-based approach provides a strong signal for representation learning, enables sample efficiency, and improves the stability of adversarial training by enabling on-policy learning. Through experiments involving several vision-based locomotion and manipulation tasks, we find that V-MAIL learns successful visuomotor policies in a sample-efficient manner, has better stability compared to prior work, and also achieves higher asymptotic performance. We further find that by transferring the learned models, V-MAIL can learn new tasks from visual demonstrations without any additional environment interactions. All results including videos can be found online at \url{https://sites.google.com/view/variational-mail}.

研究动机与目标

• 解决基于视觉演示的视觉模仿学习中表征学习、样本复杂度和训练不稳定性的问题。
• 克服行为克隆和无模型对抗性模仿学习的局限性，如分布偏移和较差的渐近性能。
• 仅使用少量视觉演示且无需额外环境交互，实现新任务的零样本迁移。
• 通过利用变分动力学模型进行在线策略滚动和自监督表征学习，提升训练稳定性和样本效率。
• 开发一个统一框架，将基于模型的强化学习与对抗性模仿学习相结合，适用于高维视觉观测空间。

提出的方法

• 训练一个变分潜在空间动力学模型，以重建视觉观测并预测未来状态，从而实现表征学习与环境建模的联合优化。
• 该模型生成合成的在线策略滚动，减少对真实环境交互的依赖，稳定对抗性训练。
• 训练判别器以区分来自专家演示的潜在状态与来自智能体滚动的潜在状态，为策略优化提供奖励信号。
• 使用判别器输出作为奖励来训练策略，促使智能体匹配专家的状态访问分布。
• 将变分模型中的图像编码器与策略网络结合，端到端地构建视觉-运动策略。
• 通过复用预训练的动力学模型与新任务的演示，无需额外环境交互，实现零样本迁移。

实验结果

研究问题

• RQ1 与无模型方法相比，基于变分模型的方法是否能在视觉模仿学习中提升样本效率和训练稳定性？
• RQ2 所学习的动力学模型是否能在无需真实环境交互的情况下实现有效的在线策略滚动，从而降低样本复杂度？
• RQ3 预训练模型在仅使用视觉演示的情况下，能在多大程度上支持新任务的零样本迁移？
• RQ4 变分框架中联合表征学习与动力学建模，对视觉控制任务的渐近性能有何影响？
• RQ5 基于潜在状态分布的判别器奖励信号，在高维视觉设置下是否优于行为克隆和先前的对抗性模仿学习方法？

主要发现

• V-MAIL 在渐近性能上优于先前方法，在基于视觉的运动和操作任务中常能达到专家水平的性能。
• 该方法表现出稳定且近乎单调的学习曲线，与先前对抗性模仿学习方法中常见的不稳定和波动训练形成鲜明对比。
• V-MAIL 展现出卓越的样本效率，其成功策略的学习所需环境交互次数显著少于基线方法。
• 在零样本模仿学习中，V-MAIL 仅使用少量视觉演示且无需额外环境交互，即可成功学习新任务，充分利了用预训练的动力学模型。
• 在大多数任务中，V-MAIL 的性能显著高于先前方法中常见的 20% 阈值，表明其在渐近成功率方面实现了重大提升。
• 基于模型的方法能够从视觉输入中有效实现表征学习，从而对判别器进行正则化，提升泛化能力。