[论文解读] Improvisation through Physical Understanding: Using Novel Objects as Tools with Visual Foresight

Annie Xie, Frederik Ebert+2 more|arXiv (Cornell University)|Apr 11, 2019

Robot Manipulation and Learning被引用 15

一句话总结

本文提出了一种视觉预见框架，使机器人仅通过原始像素观测即可对新颖、未见过的物体进行即兴工具使用。通过结合来自多样化示范的数据与自监督交互数据，该方法训练了一个视频预测模型，以规划多物体交互，使机器人能够动态选择是否使用工具或直接操作，从而在复杂且未见过的工具使用任务中优于单纯的模仿学习或视觉规划方法。

ABSTRACT

Machine learning techniques have enabled robots to learn narrow, yet complex tasks and also perform broad, yet simple skills with a wide variety of objects. However, learning a model that can both perform complex tasks and generalize to previously unseen objects and goals remains a significant challenge. We study this challenge in the context of "improvisational" tool use: a robot is presented with novel objects and a user-specified goal (e.g., sweep some clutter into the dustpan), and must figure out, using only raw image observations, how to accomplish the goal using the available objects as tools. We approach this problem by training a model with both a visual and physical understanding of multi-object interactions, and develop a sampling-based optimizer that can leverage these interactions to accomplish tasks. We do so by combining diverse demonstration data with self-supervised interaction data, aiming to leverage the interaction data to build generalizable models and the demonstration data to guide the model-based RL planner to solve complex tasks. Our experiments show that our approach can solve a variety of complex tool use tasks from raw pixel inputs, outperforming both imitation learning and self-supervised learning individually. Furthermore, we show that the robot can perceive and use novel objects as tools, including objects that are not conventional tools, while also choosing dynamically to use or not use tools depending on whether or not they are required.

研究动机与目标

• 使机器人仅通过视觉观测即可对之前未见过的物体执行复杂且即兴的工具使用。
• 解决在缺乏物体属性或形状先验知识的情况下，对新型工具和目标的泛化问题。
• 结合模仿学习与视觉模型基规划，以同时实现任务复杂性与泛化能力。
• 使机器人能够根据任务需求自主决定是否使用工具或直接操作物体。

提出的方法

• 该方法通过结合人类示范数据与通过随机动作收集的自监督交互数据，训练视觉预测模型。
• 基于采样的规划器（如CEM）利用视频预测模型模拟未来轨迹，并选择能够实现目标的动作。
• 规划的动作提议分布从示范中学习，提高了样本效率，并引导探索朝向有效的工具使用策略。
• 模型基于动作和当前观测预测未来帧，实现无需显式状态表示的预见式规划。
• 通过使用示范数据塑造规划分布并预训练视频预测器，将模仿学习与视觉预见相结合。
• 系统可实时运行，使机器人在接收原始图像输入后不到一秒内完成规划与执行。

实验结果

研究问题

• RQ1 机器人能否仅通过视觉观测学习使用新颖且非传统物体作为工具来完成复杂任务？
• RQ2 模仿学习与视觉预见的结合是否能在即兴工具使用中优于各自单独使用？
• RQ3 机器人能否根据任务效率与环境约束，动态决定是否使用工具或直接操作？
• RQ4 该方法是否在实现复杂任务性能的同时，仍保持视觉预见的泛化能力？

主要发现

• 机器人成功使用了一块从未见过的海绵擦拭盘子，证明了对新颖非传统工具的泛化能力。
• 机器人学会了使用一把此前未见过的刀，将两块垃圾推到砧板边缘，展示了有效的即兴操作能力。
• 在缺乏传统工具的情况下，机器人使用水瓶清扫垃圾，证明其能即兴使用日常物品。
• 该方法优于纯模仿学习与纯视觉预见，在同时使用示范数据进行规划与视频预测训练时表现最佳。
• 当使用工具效率低下时（如单物体推动任务），规划器成功找到了非工具使用轨迹，证实了该方法的灵活性与高效性。