[论文解读] Model-Driven Feed-Forward Prediction for Manipulation of Deformable Objects

Yinxiao Li, Yan Wang+6 more|arXiv (Cornell University)|Jul 15, 2016

3D Shape Modeling and Analysis参考文献 12被引用 6

一句话总结

本论文提出了一种基于模型的前馈预测框架，用于机器人对可变形物体的抓取操作，利用预先计算的、基于物理模拟的常见衣物3D网格模型数据库。通过结合不同姿态下的模拟深度图像与3D网格模型，该系统实现了实时类别与姿态估计、非刚性配准以实现重新抓取，以及优化的折叠轨迹规划，在Baxter机器人上对每类衣物类型10次测试试验中平均成功率达到93%，折叠性能表现一致。

ABSTRACT

Robotic manipulation of deformable objects is a difficult problem especially because of the complexity of the many different ways an object can deform. Searching such a high dimensional state space makes it difficult to recognize, track, and manipulate deformable objects. In this paper, we introduce a predictive, model-driven approach to address this challenge, using a pre-computed, simulated database of deformable object models. Mesh models of common deformable garments are simulated with the garments picked up in multiple different poses under gravity, and stored in a database for fast and efficient retrieval. To validate this approach, we developed a comprehensive pipeline for manipulating clothing as in a typical laundry task. First, the database is used for category and pose estimation for a garment in an arbitrary position. A fully featured 3D model of the garment is constructed in real-time and volumetric features are then used to obtain the most similar model in the database to predict the object category and pose. Second, the database can significantly benefit the manipulation of deformable objects via non-rigid registration, providing accurate correspondences between the reconstructed object model and the database models. Third, the accurate model simulation can also be used to optimize the trajectories for manipulation of deformable objects, such as the folding of garments. Extensive experimental results are shown for the tasks above using a variety of different clothing.

研究动机与目标

• 解决由于高维形变空间与复杂动力学特性带来的可变形物体机器人操作挑战。
• 通过基于物理的仿真生成多样化、带标签的训练数据，减少对真实世界数据采集的依赖，以支持识别与操作。
• 实现实时、精确的3D重建，并在真实衣物与仿真模型之间建立对应关系，以支持操作规划。
• 利用仿真模型数据优化操作轨迹，特别是折叠任务，以避免常见错误并提高成功率。
• 构建统一的前馈流水线，整合识别、重新抓取与运动规划，针对类似洗衣任务，仅依赖单一仿真数据库。

提出的方法

• 使用物理引擎在重力和多种抓握姿态下生成常见衣物（毛衣、长裤、短裤）的3D网格模型预计算数据库。
• 从RGB-D输入实时执行衣物的3D体素重建，随后进行特征提取，并与数据库中最近似的仿真模型进行相似性匹配，以实现类别与姿态估计。
• 在重建的3D模型与最相似的仿真模型之间应用非刚性配准，以建立准确的点对应关系，支持重新抓取。
• 利用仿真模型数据离线计算优化的操作轨迹，引入一种新颖的不相似性度量以评估折叠成功率，并指导轨迹优化。
• 采用混合刚性-非刚性配准方法，提升在重新抓取过程中对复杂非刚性形状的对应关系准确性。
• 在Baxter机器人上执行轨迹，具备故障检测功能，并可通过传感实现未来在线错误恢复。

实验结果

研究问题

• RQ1 预先计算的、基于仿真的3D衣物模型数据库能否提升在非结构化环境中对可变形物体的实时识别与姿态估计？
• RQ2 实时重建模型与仿真数据库模型之间的非刚性配准在多大程度上能提升机器人对可变形衣物的重新抓取性能？
• RQ3 基于仿真的离线轨迹优化能否显著提高真实机器人上折叠任务的成功率与鲁棒性？
• RQ4 在可变形物体的机器人操作中，使用仿真数据与真实世界数据采集相比，在效率与泛化能力方面有何差异？
• RQ5 该框架能否扩展至原始数据库中未包含的新衣物类型？其对尺寸与材质变化的处理能力如何？

主要发现

• 系统在每类衣物类型10次试验中平均成功率达到93%，其中长袖衬衫、中型/大型毛巾及小型毛巾均实现10/10次成功。
• 所有衣物成功折叠的平均耗时为97秒，较小衣物（如小毛巾）最快仅需83秒完成。
• 在折叠开始阶段仅使用一次轮廓拟合而非重复拟合，显著降低了计算时间并保持了高精度，验证了优化轨迹方法的高效性。
• 仿真轨迹使Baxter机器人能够按照预设步骤正确折叠衣物，但因电机控制抖动与机械臂下垂导致失败，表明硬件控制仍有改进空间。
• 混合刚性-非刚性配准方法在真实与仿真模型之间提供了精确的对应关系，即使在显著形变下也能实现有效的重新抓取。
• 该框架在多种衣物类型（如长袖衬衫、牛仔裤、长裤与毛巾）中表现出鲁棒性，对尺寸与材质差异具有稳定一致的性能。