[论文解读] GelSight Wedge: Measuring High-Resolution 3D Contact Geometry with a Compact Robot Finger

Shaoxiong Wang, Yu She+2 more|arXiv (Cornell University)|Jun 16, 2021

Tactile and Sensory Interactions参考文献 27被引用 6

一句话总结

本论文提出GelSight Wedge，一种紧凑、高分辨率的3D触觉传感器，专为机械手手指设计，通过使用1–3个方向光源的光度立体术，实现高精度的3D接触几何重建。该传感器仅需30张校准图像即可实现高保真度的3D重建，并能通过重建点云实现实时姿态跟踪，即使在遮挡环境中亦可运行。

ABSTRACT

Vision-based tactile sensors have the potential to provide important contact geometry to localize the objective with visual occlusion. However, it is challenging to measure high-resolution 3D contact geometry for a compact robot finger, to simultaneously meet optical and mechanical constraints. In this work, we present the GelSight Wedge sensor, which is optimized to have a compact shape for robot fingers, while achieving high-resolution 3D reconstruction. We evaluate the 3D reconstruction under different lighting configurations, and extend the method from 3 lights to 1 or 2 lights. We demonstrate the flexibility of the design by shrinking the sensor to the size of a human finger for fine manipulation tasks. We also show the effectiveness and potential of the reconstructed 3D geometry for pose tracking in the 3D space.

研究动机与目标

• 开发一种紧凑、适配机械手手指的触觉传感器，在光学与机械约束条件下仍能保持高分辨率的3D接触几何重建能力。
• 优化传感器设计，使其具备纤薄、细长的外形，适用于精细操作与狭窄空间任务。
• 评估并比较不同光照配置（1–3个光源）下的3D重建保真度，包括单光源工作模式。
• 展示基于重建3D几何信息，利用ICP算法实现在3D空间中对物体姿态进行跟踪的实用性。
• 通过最小化重建延迟，实现实时反馈控制，尤其在标记物或形变影响信号质量时仍能保持性能。

提出的方法

• GelSight Wedge采用楔形、4.5 mm厚的丙烯酸树脂外壳，三侧配备无透镜LED阵列，提供方向性照明以实现光度立体术。
• 通过反射性硅胶漆与颜色梯度映射，从多方向光源中估计表面法向量，结合泊松积分实现高分辨率3D重建。
• 结合物理滤波与计算方法——如基于网格的梯度插值并采用“最近邻”方法——以减轻标记物与缺失梯度引起的伪影。
• 在单光源工作模式下，利用10,000张合成图像训练U-Net神经网络，以提升梯度估计性能，减少对真实数据的依赖。
• 利用重建的3D点云与迭代最近点（ICP）算法实现实时3D姿态跟踪，适用于立方体等物体。
• 该设计具备可扩展性：传感器已成功微型化至与人手指相当的尺寸，同时保持重建质量。

实验结果

研究问题

• RQ1 紧凑、手指尺寸的触觉传感器能否实现与更大尺寸GelSight系统相当的高分辨率3D接触几何重建？
• RQ2 在紧凑、光学受限的设计中，光源数量（1、2或3个）如何影响3D重建的保真度？
• RQ3 神经网络能否在无需大量真实世界校准数据的前提下，补偿单光源配置下缺失的梯度信息？
• RQ4 仅依靠触觉重建的3D几何信息，在多大程度上可实现对遮挡环境中物体的精确3D姿态跟踪？
• RQ5 传感器伪影（如凝胶形变、阴影与标记物）如何影响重建质量？哪些计算方法可有效缓解这些问题？

主要发现

• GelSight Wedge仅使用30张真实校准图像即可实现高保真度3D重建，与先前基于神经网络的方法相比，显著降低了数据需求。
• 光照配置的偏好顺序为：RGB（3个光源）> RG（两组垂直光源）> RB（两组相对光源）> R（1个光源），其中三光源配置产生的梯度最准确。
• 在10,000张合成图像上训练的U-Net可提升单光源模式下的梯度估计性能，使在极少真实数据下也能实现可用的3D重建。
• 采用“最近邻”方法对受标记物影响的梯度进行插值，可在10 ms内完成，从而实现实时反馈控制。
• 传感器可缩小至与人手指相当的尺寸，同时保持高分辨率3D重建能力，适用于精细操作任务。
• 基于重建3D点云使用ICP算法进行姿态跟踪，更新频率可达约10 Hz，能准确跟踪立方体在各种朝向下的姿态，且仅依赖触觉信息。