[论文解读] A soft thumb-sized vision-based sensor with accurate all-round force perception

Huanbo Sun, Katherine J. Kuchenbecker+1 more|arXiv (Cornell University)|Nov 10, 2021

Tactile and Sensory Interactions被引用 9

一句话总结

本论文提出 Insight，一种软性、拇指大小的基于视觉的触觉传感器，仅使用单个单目相机即可实现高精度的全方位3D力感知。通过结合使用准直器的照相测光法与结构光，该传感器在单层弹性体表面上捕获3D表面形变，并利用深度神经网络实现空间分辨的法向力与剪切力推断，空间分辨率达0.4 mm，力大小测量精度达0.03 N，适用于0.03–2 N范围内的力感知。

ABSTRACT

Vision-based haptic sensors have emerged as a promising approach to robotic touch due to affordable high-resolution cameras and successful computer-vision techniques. However, their physical design and the information they provide do not yet meet the requirements of real applications. We present a robust, soft, low-cost, vision-based, thumb-sized 3D haptic sensor named Insight: it continually provides a directional force-distribution map over its entire conical sensing surface. Constructed around an internal monocular camera, the sensor has only a single layer of elastomer over-molded on a stiff frame to guarantee sensitivity, robustness, and soft contact. Furthermore, Insight is the first system to combine photometric stereo and structured light using a collimator to detect the 3D deformation of its easily replaceable flexible outer shell. The force information is inferred by a deep neural network that maps images to the spatial distribution of 3D contact force (normal and shear). Insight has an overall spatial resolution of 0.4 mm, force magnitude accuracy around 0.03 N, and force direction accuracy around 5 degrees over a range of 0.03--2 N for numerous distinct contacts with varying contact area. The presented hardware and software design concepts can be transferred to a wide variety of robot parts.

研究动机与目标

• 开发一种适用于实际机器人操作的鲁棒、柔软且紧凑的3D触觉传感器。
• 克服现有基于视觉的传感器的局限性，如易碎性、体积庞大以及力方向测量精度差。
• 仅使用单个相机与简单机械结构，实现高精度的全方位3D力感知。
• 采用数据驱动的、基于机器学习的方法，避免复杂的标定过程，并能处理材料的非线性特性。
• 开发一种具备高空间分辨率与高力测量精度的传感器，适用于灵巧操作与长期使用。

提出的方法

• 传感器采用单层弹性体在刚性框架上模压成型，以确保柔软接触、结构鲁棒性与高灵敏度。
• 传感器内部的单目相机同时捕捉表面形变图像，利用照相测光法（明暗变化）与结构化彩色光。
• 使用准直器将结构光均匀投射到圆锥形感测表面，以增强3D形变检测效果。
• 系统采用深度神经网络，将图像输入（捕获图像与参考图像的差异，以及骨架掩码）映射为空间力分布。
• 网络在大规模自动采集的数据集上进行训练，包含112,000组不同力与接触面积的接触样本。
• 输入包含图像差异（捕获图像减去参考图像）与骨架掩码，以帮助网络识别刚性区域并纠正低估问题。

实验结果

研究问题

• RQ1 单层、柔软的基于视觉的传感器是否能在整个圆锥形表面实现高精度的3D力感知？
• RQ2 仅使用一个相机，结合照相测光法与结构光如何提升3D形变估计性能？
• RQ3 深度学习模型在无需手工标定的情况下，能在多大程度上准确推断出力的大小与方向（法向与剪切力）？
• RQ4 在输入中加入骨架掩码对力估计精度有何影响，特别是在刚性区域？
• RQ5 在真实机器人应用中，实现可靠力预测性能所需的最小数据集规模是多少？

主要发现

• Insight 实现了0.4 mm的力定位空间分辨率，显著优于先前基于视觉的传感器（如GelTip的5 mm分辨率）。
• 传感器在0.03–2 N力范围内，力大小测量精度约为0.03 N，力方向测量精度约为5度。
• 在输入中加入骨架掩码可减少刚性区域的力低估，从而整体提升测量精度。
• 使用彩色结构光而非灰度光可提高力测量精度，表明色度线索有助于提升3D形变估计性能。
• 消融实验表明，即使仅使用完整训练数据的20–40%，模型仍保持良好性能，表明具有优异的数据效率。
• 该传感器是迄今最紧凑的基于视觉的触觉传感器，其面积与体积比（A/V）在同类系统中最高，可轻松集成于小型机器人部件中。