[论文解读] Learning Dense Visual Correspondences in Simulation to Smooth and Fold Real Fabrics

Aditya Ganapathi, Priya Sundaresan+11 more|arXiv (Cornell University)|Mar 28, 2020

Robot Manipulation and Learning参考文献 46被引用 16

一句话总结

本文提出了一种基于仿真的框架，利用RGB数据和深度学习，学习真实布料操作中的密集视觉对应关系。通过利用这些对应关系，该方法在不进行真实世界微调或任务特定再训练的情况下，实现了在两种机器人平台上的10种多样化熨烫与折叠任务的一次示例模仿——平均成功率达到80.3%。

ABSTRACT

Robotic fabric manipulation is challenging due to the infinite dimensional configuration space, self-occlusion, and complex dynamics of fabrics. There has been significant prior work on learning policies for specific deformable manipulation tasks, but comparatively less focus on algorithms which can efficiently learn many different tasks. In this paper, we learn visual correspondences for deformable fabrics across different configurations in simulation and show that this representation can be used to design policies for a variety of tasks. Given a single demonstration of a new task from an initial fabric configuration, the learned correspondences can be used to compute geometrically equivalent actions in a new fabric configuration. This makes it possible to robustly imitate a broad set of multi-step fabric smoothing and folding tasks on multiple physical robotic systems. The resulting policies achieve 80.3% average task success rate across 10 fabric manipulation tasks on two different robotic systems, the da Vinci surgical robot and the ABB YuMi. Results also suggest robustness to fabrics of various colors, sizes, and shapes. See https://tinyurl.com/fabric-descriptors for supplementary material and videos.

研究动机与目标

• 解决在不同布料颜色、尺寸和初始配置下泛化布料操作策略的挑战。
• 通过视觉对应关系，实现从仿真到真实机器人的高效、任务无关的策略迁移。
• 将感知与控制解耦，以支持无需再训练的跨机器人泛化。
• 开发可扩展的流程，在仿真中生成多样化的布料配置，以提升描述符的泛化能力。
• 仅通过每项任务一次示范，实现多步骤任务（如熨烫和折叠）的高成功率。

提出的方法

• 使用在Blender中生成的多样化配置下合成的RGB布料图像，训练密集物体描述符。
• 在仿真数据采集过程中应用领域随机化，以增强对颜色、纹理和尺度变化的鲁棒性。
• 利用学习到的视觉对应关系，计算不同布料配置之间的几何等价动作。
• 利用对应场将单一人类示范从源配置映射到新配置中的等价动作。
• 将感知（描述符网络）与控制（策略）解耦，实现跨不同机器人系统的复用。
• 在仿真中构建测试平台，以在物理部署前验证操作策略。

Figure 1 : We use learned visual correspondences across different fabric configurations to perform a variety of fabric manipulation tasks on the ABB YuMi (top) and the da Vinci Research Kit (bottom). Given a single demonstration of smoothing or folding, the robot uses the learned correspondences to

实验结果

研究问题

• RQ1 在仿真中学习到的密集视觉对应关系是否能泛化到不同布料属性（如颜色、尺寸和形状）？
• RQ2 能否利用学习到的对应关系，将单一配置下的示范转化为另一配置下相同任务的有效策略？
• RQ3 在不重新训练的情况下，单一在仿真中训练的感知模块在不同真实机器人平台上的迁移程度如何？
• RQ4 在真实环境中，对应关系对相机位姿、光照和工作区几何变化的鲁棒性如何？
• RQ5 该方法是否能在无需任务特定微调的情况下，实现对多样化多步骤布料操作任务的高成功率？

主要发现

• 该方法在ABB YuMi和da Vinci Research Kit上10项不同布料操作任务中，平均任务成功率达到80.3%。
• 熨烫策略使dVRK的布料覆盖面积从平均68.4%提升至86.4%，YuMi则从71.4%提升至83.2%。
• dVRK在单步折叠任务（SF, TSTSF）上实现100%成功率，而YuMi在大多数单步和双步任务上达到90%或以上。
• 最常见的失败模式是抓取不稳定性，尤其是在多步任务中，表明需要改进抓取策略。
• 尽管相机位姿、光照和工作区尺寸存在差异，学习到的描述符在不同机器人平台间仍表现出稳健的泛化能力。
• 该框架实现了对复杂任务（如双三角折叠、熨烫后折叠）的一次示例模仿，并在未见的布料变化下保持一致的性能。

Figure 2 : Fabric Meshes: Examples of the meshes generated in Blender for both square cloth (left) and t-shirts (right). The ground-truth vertices are highlighted in the second and fourth columns.