[论文解读] In-Hand Manipulation of Unknown Objects with Tactile Sensing for Insertion

Chaoyi Pan, Marion Lepert+3 more|arXiv (Cornell University)|Oct 24, 2022

Tactile and Sensory Interactions被引用 6

一句话总结

本论文提出了一种无需视觉的、基于触觉传感的、面向未知物体的指间重定向方法，采用触觉增强型滚筒夹持器实现。通过结合贝叶斯优化与从触觉数据中增量式重建三维形状，该系统能高效探索物体表面，显著减少探索时间并提高模拟环境下的任务成功率。

ABSTRACT

In this paper, we present a method to manipulate unknown objects in-hand using tactile sensing without relying on a known object model. In many cases, vision-only approaches may not be feasible; for example, due to occlusion in cluttered spaces. We address this limitation by introducing a method to reorient unknown objects using tactile sensing. It incrementally builds a probabilistic estimate of the object shape and pose during task-driven manipulation. Our approach uses Bayesian optimization to balance exploration of the global object shape with efficient task completion. To demonstrate the effectiveness of our method, we apply it to a simulated Tactile-Enabled Roller Grasper, a gripper that rolls objects in hand while collecting tactile data. We evaluate our method on an insertion task with randomly generated objects and find that it reliably reorients objects while significantly reducing the exploration time.

研究动机与目标

• 解决在视觉不可靠的杂乱或遮挡环境中对未知物体进行重定向的挑战。
• 开发一种仅依赖触觉的指间操作方法，无需事先了解物体的形状或位姿。
• 通过基于物体形状和位姿的不确定性概率模型，引导触觉探索，实现高效的任务完成。
• 在模拟的触觉增强型滚筒夹持器上，验证该方法在插入任务中的有效性。
• 通过自适应探索策略，提升对传感器噪声和物体滑移的鲁棒性。

提出的方法

• 使用触觉增强型滚筒夹持器，在手持过程中滚动物体，同时通过GelSight传感器收集高分辨率深度数据。
• 采用基于ICP的配准方法对连续的触觉深度图进行对齐，逐步重建物体的三维点云。
• 应用高斯过程（GP）模型来表示物体形状的不确定性，并预测具有信息量的探索区域。
• 利用贝叶斯优化在探索（获取形状信息）与利用（完成插入任务）之间实现平衡。
• 通过参数化目标孔的轮廓，集成任务驱动的目标函数，实现在无需完整形状知识情况下的目标导向型探索。
• 通过利用滚筒夹持器的连续接触与运动学约束，保持在各次触觉读数间对物体的定位。

实验结果

研究问题

• RQ1 机器人能否仅依靠触觉传感，在无视觉或先验物体模型的情况下，实现对未知物体的插入操作重定向？
• RQ2 如何高效引导触觉探索，以最小化任务完成时间，同时构建可靠的三维形状估计？
• RQ3 在传感器噪声条件下，基于贝叶斯优化的探索策略相较于随机或贪婪探索策略的性能如何？
• RQ4 该方法在触觉深度测量存在噪声以及操作过程中发生物体滑移时的鲁棒性如何？
• RQ5 通过算法设计，能够在多大程度上克服触觉增强型滚筒夹持器的硬件限制？

主要发现

• 在模拟环境中，该方法对随机生成的物体在插入任务中成功率超过80%，即使在中等程度的传感器噪声（标准差 < 4 mm）下依然有效。
• 与随机探索和仅利用的基线方法相比，贝叶斯优化显著减少了探索时间，尤其在低至中等噪声环境下优势明显。
• 在探索效率方面，该方法优于基线方法，与随机搜索相比，中位数探索步数减少了最多40%。
• 在高噪声条件下（σ > 4 mm），性能下降，其优势因形状估计不准确而减弱，进而影响探索决策。
• 硬件限制如7 mm的传感器噪声和关节间隙被识别为关键瓶颈，表明改进机械设计对实际部署至关重要。
• 该方法仅在物体具有非均匀表面特征时有效，可实现可靠定位；若表面均质，则会导致对齐与跟踪失败。