[论文解读] Learning Keypoints from Synthetic Data for Robotic Cloth Folding

Thomas Lips, Victor-Louis De Gusseme+1 more|arXiv (Cornell University)|May 13, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

本文提出使用纯合成数据训练卷积神经网络（CNN）进行机器人布料折叠中的关键点检测，该合成数据通过Blender中的程序化3D场景生成。该系统在单臂机器人上实现了77%的抓取成功率和53%的折叠成功率，实现了零样本模拟到现实的迁移，表明合成数据可有效训练真实世界布料操作的关键点检测器，且仅需极少的真实数据标注。

ABSTRACT

Robotic cloth manipulation is challenging due to its deformability, which makes determining its full state infeasible. However, for cloth folding, it suffices to know the position of a few semantic keypoints. Convolutional neural networks (CNN) can be used to detect these keypoints, but require large amounts of annotated data, which is expensive to collect. To overcome this, we propose to learn these keypoint detectors purely from synthetic data, enabling low-cost data collection. In this paper, we procedurally generate images of towels and use them to train a CNN. We evaluate the performance of this detector for folding towels on a unimanual robot setup and find that the grasp and fold success rates are 77% and 53%, respectively. We conclude that learning keypoint detectors from synthetic data for cloth folding and related tasks is a promising research direction, discuss some failures and relate them to future work. A video of the system, as well as the codebase, more details on the CNN architecture and the training setup can be found at https://github.com/tlpss/workshop-icra-2022-cloth-keypoints.git.

研究动机与目标

• 通过利用合成数据，解决机器人布料操作中真实标注数据成本高且稀缺的问题。
• 评估使用程序化数据生成方法在关键点检测中实现零样本模拟到现实迁移的可行性。
• 分析仅在合成图像上训练的基于CNN的关键点检测器在真实世界机器人折叠任务中的性能与失败模式。
• 识别影响泛化能力的域偏移因素（如光照、干扰物和材料属性），并指导未来合成数据的设计。

提出的方法

• 使用Blender和BlenderProc程序化生成合成RGB图像，包括随机化的毛巾几何形状、材质（HSV颜色+Perlin噪声）、光照、相机位姿以及干扰物对象。
• 训练CNN从单张RGB图像预测语义关键点（毛巾角落）的2D热力图，真实标注基于合成场景的几何信息生成。
• 将训练好的关键点检测器零样本部署到真实世界的单臂机器人系统中，配备Robotiq 2F-85夹爪和ZED2i立体相机。
• 基于检测到的关键点执行脚本化、开环的抓取与准静态折叠轨迹，包含实时推理和图像预处理（裁剪并缩放至256×256）。
• 采用域随机化技术，包括随机背景纹理和多变的光照条件，以减小现实差距。
• 在多种真实世界条件下进行评估：自然光、LED照明、存在干扰物，以及分布外的毛巾（具有非均匀纹理）。

实验结果

研究问题

• RQ1 仅在合成数据上训练的关键点检测器是否能达到真实世界机器人布料折叠所需的足够精度？
• RQ2 在真实世界域偏移（如光照变化和干扰物）下，零样本模拟到现实迁移的性能有多强健？
• RQ3 使用合成数据训练的检测器在抓取和折叠执行中失败的主要原因是什么？
• RQ4 材料属性和毛巾几何形状（如部分折叠、非均匀纹理）如何影响检测与操作性能？

主要发现

• 在各种光照和干扰物条件下，关键点检测器在分布内毛巾上的抓取成功率达到77%，表明其从合成数据中具有强大的泛化能力。
• 折叠成功率为53%，其中80%的折叠失败归因于执行过程中布料弯曲导致的角落对齐错误，凸显了开环控制的局限性。
• 对于具有非均匀纹理的分布外毛巾，抓取成功率降至48%，表明对未建模视觉变化敏感。
• 抓取失败主要源于关键点检测不准确或不完整，表明合成数据分布中仍存在残余的现实差距。
• 轻质毛巾导致抓取失败，因摩擦力不足，导致布料被推移而非被提起。
• 推理时间可忽略不计（<1秒），而完整抓取与折叠执行耗时约20秒，表明感知并非性能瓶颈。