[论文解读] Deep Transfer Learning of Pick Points on Fabric for Robot Bed-Making

Daniel Seita, Nawid Jamali+7 more|arXiv (Cornell University)|Sep 26, 2018

Robot Manipulation and Learning被引用 25

一句话总结

本文提出一种基于深度图像的深度迁移学习方法，用于识别机器人套被过程中布料的最优抓取点，实现对多种被套和机器人平台的鲁棒覆盖。该模型在两台移动操作机械臂（HSR 和 Fetch）的数据上进行训练，平均被套覆盖率达 92%，与人类表现（95%）相当，显著优于基线方法（83%），即使在颜色和纹理变化的情况下，也能有效泛化至未见过的织物。

ABSTRACT

A fundamental challenge in manipulating fabric for clothes folding and textiles manufacturing is computing "pick points" to effectively modify the state of an uncertain manifold. We present a supervised deep transfer learning approach to locate pick points using depth images for invariance to color and texture. We consider the task of bed-making, where a robot sequentially grasps and pulls at pick points to increase blanket coverage. We perform physical experiments with two mobile manipulator robots, the Toyota HSR and the Fetch, and three blankets of different colors and textures. We compare coverage results from (1) human supervision, (2) a baseline of picking at the uppermost blanket point, and (3) learned pick points. On a quarter-scale twin bed, a model trained with combined data from the two robots achieves 92% blanket coverage compared with 83% for the baseline and 95% for human supervisors. The model transfers to two novel blankets and achieves 93% coverage. Average coverage results of 92% for 193 beds suggest that transfer-invariant robot pick points on fabric can be effectively learned.

研究动机与目标

• 为解决机器人操作形变织物的挑战，特别是在被套等任务中，织物状态高度不确定且复杂的问题。
• 开发一种方法，用于识别适用于不同织物和机器人平台的高效抓取点。
• 通过使用深度图像实现对颜色和纹理的不变性，减少对人工标注或任务专用传感器的依赖。
• 证明单一学习模型可在多种机器人和织物类型上实现高被套覆盖效果。
• 将被套任务形式化为基于抓取点的覆盖最大化任务，并利用深度学习进行求解。

提出的方法

• 使用卷积神经网络（CNN）从深度图像输入中预测被套上最优抓取点的像素坐标 (x,y)。
• 通过监督学习在人类示范和机器人在四分之一比例被套上的运行结果所收集的标注抓取点上进行模型训练。
• 通过整合来自两种不同机器人（丰田 HSR 和 Fetch）的数据，应用迁移学习以提升泛化能力和鲁棒性。
• 采用深度图像以确保对织物颜色、纹理和图案的不变性，避免依赖 RGB 特征。
• 机器人在预测的抓取点执行一系列抓取动作，将被套拉向未覆盖的床角，以提高覆盖度。
• 基线方法选择被套上最高的点，人类指导用作性能参考。

实验结果

研究问题

• RQ1 在深度图像上训练的深度学习模型是否能跨不同机器人和织物类型泛化，以识别出有效抓取点以实现被套覆盖？
• RQ2 在真实世界被套任务中，学习得到的抓取点策略性能与简单分析基线方法（如选择最高点）和人类指导相比如何？
• RQ3 与基于 RGB 的模型相比，使用深度图像在不同颜色、纹理和材料属性的织物之间泛化能力提升的程度如何？
• RQ4 在未见织物上，一个在两台机器人数据上训练的单一模型是否能成功实现迁移？
• RQ5 深度学习推理流水线的时序和效率与真实部署中物理抓取执行和运动规划相比如何？

主要发现

• 深度迁移学习模型在 193 次被套任务运行中实现了平均 92% 的被套覆盖度，显著优于基线方法（83% 覆盖度）。
• 该模型性能与人类指导者相当，后者实现了 95% 的覆盖度，证明了其在真实场景中的强大有效性。
• 该模型成功泛化至两种新型被套（Y&B 和青绿色），尽管未对这些织物进行微调，仍实现了 93% 的覆盖度。
• 基于深度的抓取网络优于基于 RGB 的网络，后者平均仅实现 86% 覆盖度，原因在于其对颜色和图案的不变性。
• 神经网络推理时间极短（平均 0.1 秒），适合实时部署，尽管物理抓取执行和机器人运动规划是主要性能瓶颈。
• 统计检验确认了不同织物类型下的覆盖度分布无显著差异，表明对织物变化具有鲁棒的泛化能力。