[论文解读] Imitation from Observation: Learning to Imitate Behaviors from Raw Video via Context Translation

YuXuan Liu, Abhishek Gupta+2 more|arXiv (Cornell University)|Jul 11, 2017

Reinforcement Learning in Robotics参考文献 43被引用 35

一句话总结

本文提出了一种新颖的观察模仿学习框架，通过使用上下文转换模型在不同情境（如视角和本体）之间转换观察，使机器人能够从原始视频演示中学习复杂的操作技能。该方法结合视频预测与深度强化学习，生成感知奖励函数，在真实机器人任务（如清扫、舀取和工具使用）中实现了高成功率，且无需专家动作或身体接触示范。

ABSTRACT

Imitation learning is an effective approach for autonomous systems to acquire control policies when an explicit reward function is unavailable, using supervision provided as demonstrations from an expert, typically a human operator. However, standard imitation learning methods assume that the agent receives examples of observation-action tuples that could be provided, for instance, to a supervised learning algorithm. This stands in contrast to how humans and animals imitate: we observe another person performing some behavior and then figure out which actions will realize that behavior, compensating for changes in viewpoint, surroundings, object positions and types, and other factors. We term this kind of imitation learning "imitation-from-observation," and propose an imitation learning method based on video prediction with context translation and deep reinforcement learning. This lifts the assumption in imitation learning that the demonstration should consist of observations in the same environment configuration, and enables a variety of interesting applications, including learning robotic skills that involve tool use simply by observing videos of human tool use. Our experimental results show the effectiveness of our approach in learning a wide range of real-world robotic tasks modeled after common household chores from videos of a human demonstrator, including sweeping, ladling almonds, pushing objects as well as a number of tasks in simulation.

研究动机与目标

• 解决标准模仿学习的局限性，即假设在相同环境配置下可访问观测-动作对。
• 使机器人能够从人类行为的原始视频演示中学习，即使演示情境（视角、物体配置或代理本体）与自身不同。
• 开发一种方法，使其在无需真实动作或身体接触示范的情况下，泛化于多种情境。
• 通过学习一个上下文转换模型，将互联网来源的视频转化为代理视角，实现从视频中模仿。
• 使用基于翻译视频序列的奖励函数，在强化学习中训练策略，实现对新环境的零样本适应。

提出的方法

• 训练一个上下文转换模型，将源情境（如人类的第三人称视角）的观测序列转换为目标情境（如机器人的第一人称视角）的观测序列。
• 利用视频预测，基于转换后的观测序列生成目标情境下的未来帧，形成感知奖励信号。
• 将转换后的观测序列整合进深度强化学习流程（如引导策略搜索），以优化跟踪预测专家行为的动作。
• 利用深度神经网络学习演示的解耦表示，将行为与上下文分离，从而实现零样本泛化。
• 使用来自多种情境的配对演示训练转换模型，使其在推理时能泛化到未见过的情境。
• 将预测序列用作强化学习中的代价函数，使代理在无真实动作访问的情况下也能模仿行为。

实验结果

研究问题

• RQ1 当演示情境（视角、物体配置或代理本体）与机器人自身不同时，机器人能否从原始视频演示中模仿复杂行为？
• RQ2 上下文转换模型能否有效将人类示范者的视觉特征转换到机器人视角，以实现行为模仿？
• RQ3 与使用预训练视觉特征或身体接触示范的基线方法相比，所提方法在泛化能力和成功率方面表现如何？
• RQ4 该方法在涉及与颗粒状物质或工具动态交互的真实世界任务中，其泛化能力有多强？
• RQ5 该方法能否在无需专家动作标注或人工介入演示的情况下，实现从互联网来源视频的模仿？

主要发现

• 在舀取杏仁任务中，该方法实现了66%的成功率，显著优于使用预训练视觉特征或基于关节角奖励的基线方法。
• 在杏仁清扫任务中，所提方法的成功率高于预训练特征基线和身体接触示范基线，表明其对复杂视觉动态具有鲁棒性。
• 在纸团清扫任务中，该方法成功完成任务，而预训练视觉特征基线失败，表明基于学习的转换奖励函数更具优势。
• 该方法成功从原始视频中学习了推、舀和清扫等工具使用行为，即使机器人视角和本体与示范者不同。
• 该方法在无需额外演示或微调的情况下泛化到未见过的情境，展现出强大的零样本迁移能力。
• 上下文转换的使用有效促进了真实机器人系统中的策略学习，性能超越了依赖固定视觉特征或身体接触教学的方法。