[论文解读] DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics

Ivan Kapelyukh, Vitalis Vosylius+1 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用 8

一句话总结

DALL-E-Bot 提出了一种零样本、开放集的机器人框架，利用类似 DALL-E 的网络规模扩散模型，从自然语言描述中生成类人般的物体排列。通过推断物体身份、利用文本条件生成生成目标图像，并通过 CLIP 和 ICP 将其对齐至真实世界姿态，该系统实现了无需训练或示范的自主、高精度重排。

ABSTRACT

We introduce the first work to explore web-scale diffusion models for robotics. DALL-E-Bot enables a robot to rearrange objects in a scene, by first inferring a text description of those objects, then generating an image representing a natural, human-like arrangement of those objects, and finally physically arranging the objects according to that goal image. We show that this is possible zero-shot using DALL-E, without needing any further example arrangements, data collection, or training. DALL-E-Bot is fully autonomous and is not restricted to a pre-defined set of objects or scenes, thanks to DALL-E's web-scale pre-training. Encouraging real-world results, with both human studies and objective metrics, show that integrating web-scale diffusion models into robotics pipelines is a promising direction for scalable, unsupervised robot learning.

研究动机与目标

• 利用预训练的扩散模型，在非结构化环境中实现零样本、开放集的物体重排。
• 弥合真实场景与扩散生成图像之间的域差距，以实现机器人执行的准确性。
• 通过利用图像修复技术对预先放置的物体进行条件控制，支持人机协作重排。
• 通过客观指标和人类研究相结合的方式评估该方法，证明其在日常任务中的泛化能力。
• 建立一种可扩展的、无监督的机器人学习流程，避免高昂的数据收集或微调成本。

提出的方法

• 系统使用目标检测与分割技术，从 RGB 输入中构建以物体为中心的场景表征。
• 将检测到的物体的自然语言提示输入 DALL-E，生成符合自然、类人般排列的目标图像。
• 基于 CLIP 特征的跨实例匈牙利匹配法，实现真实世界与生成图像中物体的域间对齐。
• 在实例分割掩码上应用 ICP 对齐，以优化 3D 姿态估计，同时在语义特征图上使用光度损失以提升对齐精度。
• 使用图像修复技术对扩散模型进行条件控制，以基于预先放置的物体实现协作式重排。
• 采用采样与过滤策略，以提升生成质量并减少扩散输出中的模式崩溃。

实验结果

研究问题

• RQ1 能否在无需任何微调或数据收集的情况下，利用类似 DALL-E 的网络规模扩散模型实现零样本、开放集的机器人重排？
• RQ2 机器人在跨域差距下，多大程度上能将扩散模型生成的图像与真实世界物体姿态对齐？
• RQ3 在扩散模型中使用图像修复在多大程度上能够实现人机协作的物体重排？
• RQ4 在位置、朝向和美学质量方面，生成的排列与人类偏好相比如何？
• RQ5 该方法能否在多样化、非结构化的现实世界场景和物体组合中实现泛化？

主要发现

• DALL-E-Bot 对于叉子的中位位置误差为 4.95 cm，方向误差为 1.26°，优于基线方法 Rand-No-Coll（25.85 cm，70.32°）和 Geometric（15.59 cm，40.57°）。
• 对于盘子，系统实现了 1.28 cm 的位置误差和 0° 的方向误差，显著优于 Rand-No-Coll 的 10.78 cm 和 -（无穷大）误差。
• 通过 3000 次评分的人类研究显示，DALL-E-Bot 生成的排列在人类偏好上显著优于启发式基线方法。
• 该方法成功利用图像修复技术对预先放置的物体进行条件控制，实现了基于人类输入的协作式重排。
• 采样与过滤策略在经验上对提升生成质量、减少图像生成中的失败案例至关重要。
• 该框架在多样化的真实世界重排任务中表现出鲁棒性，包括餐桌、办公室和厨房等场景。