[论文解读] Learning Robotic Manipulation through Visual Planning and Acting

Angelina Wang, Thanard Kurutach+3 more|arXiv (Cornell University)|May 11, 2019

Robot Manipulation and Learning参考文献 50被引用 18

一句话总结

本文提出视觉规划与执行（VPA），一种数据驱动方法，通过自监督机器人交互学习生成可解释的视觉计划，并利用学习到的逆动力学控制器执行。通过利用基于因果InfoGAN的生成模型进行图像空间规划，以及使用视觉伺服策略进行控制，VPA在障碍物嵌入环境中实现了样本高效、可解释的绳索等柔顺物体操作，PR2机器人成功率达到20%。

ABSTRACT

Planning for robotic manipulation requires reasoning about the changes a robot can affect on objects. When such interactions can be modelled analytically, as in domains with rigid objects, efficient planning algorithms exist. However, in both domestic and industrial domains, the objects of interest can be soft, or deformable, and hard to model analytically. For such cases, we posit that a data-driven modelling approach is more suitable. In recent years, progress in deep generative models has produced methods that learn to `imagine' plausible images from data. Building on the recent Causal InfoGAN generative model, in this work we learn to imagine goal-directed object manipulation directly from raw image data of self-supervised interaction of the robot with the object. After learning, given a goal observation of the system, our model can generate an imagined plan -- a sequence of images that transition the object into the desired goal. To execute the plan, we use it as a reference trajectory to track with a visual servoing controller, which we also learn from the data as an inverse dynamics model. In a simulated manipulation task, we show that separating the problem into visual planning and visual tracking control is more sample efficient and more interpretable than alternative data-driven approaches. We further demonstrate our approach on learning to imagine and execute in 3 environments, the final of which is deformable rope manipulation on a PR2 robot.

研究动机与目标

• 解决在分析建模不可行的真实世界环境中操作柔顺物体的挑战。
• 克服传统规划方法在非刚性物体上需要人工设计状态和转移关系的局限性。
• 开发一种无需人工提供视觉计划或示范的数据驱动、自监督方法。
• 通过在物理执行前生成可视觉检查的计划，实现安全且可解释的操作。
• 在复杂、充满障碍物的环境中，展示在真实PR2机器人上端到端视觉规划与执行的可行性。

提出的方法

• 利用自监督的随机交互收集机器人-物体交互的原始图像数据，尤其针对绳索等柔顺物体。
• 训练C3IGAN（因果条件InfoGAN）模型，学习一个解耦且结构化的潜在空间，支持用于规划的线性插值。
• 通过在C3IGAN模型的潜在空间中线性插值生成视觉计划，并将序列映射回图像观测。
• 从相同数据中学习逆动力学模型，以视觉伺服方式跟踪想象中的视觉计划。
• 将C3IGAN基于环境上下文（如障碍物位置）进行条件化，以实现尊重物理约束的规划。
• 将操作分解为两个阶段：视觉规划（想象轨迹）和视觉跟踪（通过学习的控制执行轨迹）。

实验结果

研究问题

• RQ1 数据驱动模型能否直接从原始图像数据中学习生成目标导向的视觉计划，用于柔顺物体操作？
• RQ2 能否通过执行前的视觉检查使图像空间中的视觉规划变得可解释且安全？
• RQ3 与端到端的无模型强化学习相比，分离规划与控制是否能提升样本效率和性能？
• RQ4 该模型能否泛化到训练期间未出现的未见障碍物配置？
• RQ5 C3IGAN-based视觉规划与学习的视觉伺服相结合，在真实机器人操作中的有效性如何？

主要发现

• C3IGAN模型成功学习到生成视觉上合理的图像序列，代表了可行的操作轨迹，即使存在障碍物。
• 约15%的生成视觉计划在视觉上是合理的，即尊重了物理约束（如绕过障碍物）。
• 逆动力学模型在障碍物嵌入的绳索操作任务中，成功在PR2机器人上执行了20%的视觉上合理计划。
• 该方法表现出可解释性：失败案例通常可通过检查想象中的计划来检测，从而增强安全性。
• 尽管绝对成功率较低，该方法在样本效率和可解释性方面优于模拟环境中的无模型强化学习。
• 该模型能泛化到训练期间未见的障碍物配置，表明对环境变化具有一定的鲁棒性。