[论文解读] Modeling Long-horizon Tasks as Sequential Interaction Landscapes

Sören Pirk, Karol Hausman+2 more|arXiv (Cornell University)|Jan 1, 2020

Robot Manipulation and Learning被引用 1

一句话总结

该论文提出了一种深度学习框架，通过从演示视频和实时视觉观测中直接学习动作符号及其转换，将长时程机器人操作任务建模为顺序交互景观。该方法使机器人能够动态预测和调整计划，在积木堆叠和7-DoF操作等复杂任务中实现稳健执行与故障恢复。

ABSTRACT

Complex object manipulation tasks often span over long sequences of operations. Task planning over long-time horizons is a challenging and open problem in robotics, and its complexity grows exponentially with an increasing number of subtasks. In this paper we present a deep learning network that learns dependencies and transitions across subtasks solely from a set of demonstration videos. We represent each subtask as an action symbol (e.g. move cup), and show that these symbols can be learned and predicted directly from image observations. Learning from demonstrations and visual observations are two main pillars of our approach. The former makes the learning tractable as it provides the network with information about the most frequent transitions and relevant dependency between subtasks (instead of exploring all possible combination), while the latter allows the network to continuously monitor the task progress and thus to interactively adapt to changes in the environment. We evaluate our framework on two long horizon tasks: (1) block stacking of puzzle pieces being executed by humans, and (2) a robot manipulation task involving pick and place of objects and sliding a cabinet door with a 7-DoF robot arm. We show that complex plans can be carried out when executing the robotic task and the robot can interactively adapt to changes in the environment and recover from failure cases.

研究动机与目标

• 解决机器人在复杂、长序列操作任务中规划时指数级增长复杂性的问题。
• 使机器人能够从演示视频中学习子任务依赖关系和转换，而无需对所有可能组合进行穷举搜索。
• 通过视觉观测实现对环境的持续监控，以支持实时适应与故障恢复。
• 弥合从演示学习与长时程任务执行中实时视觉反馈之间的鸿沟。

提出的方法

• 将每个子任务表示为直接从图像观测中学习到的动作符号（例如，'移动水杯'）。
• 训练深度神经网络，仅使用演示视频作为监督信号，预测动作符号序列。
• 整合实时视觉观测以监控任务进度，并检测与计划序列的偏差。
• 结合演示转换与视觉反馈，在执行过程中实现交互式自适应。
• 将任务建模为顺序交互景观，其中每个状态对应一个符号化动作，转换关系由数据学习得到。
• 利用模仿学习减少可能任务计划的搜索空间，使长时程规划变得可行。

实验结果

研究问题

• RQ1 机器人如何仅从演示视频中学习长时程操作任务的计划？
• RQ2 视觉观测在任务执行过程中实现实时适应中起到什么作用？
• RQ3 所学习的符号化动作序列能否支持复杂操作任务中的稳健执行与故障恢复？
• RQ4 子任务之间的依赖关系如何从演示数据中浮现，并影响规划过程？

主要发现

• 该框架仅使用视频演示，成功学习并执行了包括积木堆叠和7-DoF机器人操作在内的复杂长时程任务。
• 机器人通过在任务执行期间持续监控视觉观测，实现了对环境变化的交互式适应。
• 在真实场景中展示了故障恢复能力，表明系统对意外扰动具有强健性。
• 该模型有效从演示视频中捕捉了子任务依赖关系和转换模式，实现了准确的计划预测。