[论文解读] A Handheld Device for the In Situ Acquisition of Multimodal Tactile Sensing Data

Joshua Wade, Tapomayukh Bhattacharjee+1 more|arXiv (Cornell University)|Nov 10, 2015

Tactile and Sensory Interactions参考文献 3被引用 4

一句话总结

本文提出了一种便携式手持设备，可在自然环境中对日常物体即时采集多模态触觉数据——包括力、振动、加速度和温度。该设备在区分牙刷与台面时实现了100%的准确率，在识别毛巾与毛巾架时达到95%，证明了其在为机器人触觉感知系统获取高质量训练数据方面的可行性。

ABSTRACT

Multimodal tactile sensing could potentially enable robots to improve their performance at manipulation tasks by rapidly discriminating between task-relevant objects. Data-driven approaches to this tactile perception problem show promise, but there is a dearth of suitable training data. In this two-page paper, we present a portable handheld device for the efficient acquisition of multimodal tactile sensing data from objects in their natural settings, such as homes. The multimodal tactile sensor on the device integrates a fabric-based force sensor, a contact microphone, an accelerometer, temperature sensors, and a heating element. We briefly introduce our approach, describe the device, and demonstrate feasibility through an evaluation with a small data set that we captured by making contact with 7 task-relevant objects in a bathroom of a person's home.

研究动机与目标

• 解决机器人数据驱动触觉感知中缺乏合适训练数据的问题。
• 开发一种便携、用户友好的设备，用于在家庭等自然环境中采集多模态触觉数据。
• 实现在真实交互过程中对任务相关物体触觉响应的高效数据采集。
• 评估使用该设备采集数据以支持高精度触觉物体识别的可行性。
• 提供一种可扩展的方法，用于收集多样化的触觉数据，以提升机器人操作能力。

提出的方法

• 该设备集成了基于织物的力传感器、接触麦克风、加速度计、温度传感器以及加热元件，实现多模态传感。
• 采用Raspberry Pi 2和12位ADC，以500 Hz的采样率（力、振动、加速度）和100 Hz的采样率（温度、热传递）将数据记录至USB闪存盘。
• 通过与参考传感器（LM35和ATI Mini45）校准的三阶多项式拟合，将原始ADC输出转换为物理单位。
• 系统包含红外接近传感器和计时器以估算接触速度，并配备机载摄像头用于记录每个物体。
• 数据预处理包括将时间序列截断为2100个样本（接触前0.2秒至接触后4秒），按均值和方差进行归一化，并使用15个主成分的主成分分析（PCA）进行降维。
• 采用线性SVM分类器结合5折交叉验证，基于拼接的多模态特征对物体对进行分类。

实验结果

研究问题

• RQ1 手持设备能否高效地在真实环境（如家庭）中采集多模态触觉数据？
• RQ2 所采集的触觉数据能否实现对任务相关物体（如牙刷与台面）的准确区分？
• RQ3 在接触过程中，刚性与柔性物体的力、振动和加速度响应有何差异？
• RQ4 多模态触觉数据在多大程度上能提升机器人操作任务中的触觉感知能力？
• RQ5 该设备能否在不同接触速度下支持一致且可重复的数据采集？

主要发现

• 该设备成功在家庭浴室环境中对7个任务相关物体实现了多模态触觉数据的采集，且实验过程一致且可重复。
• 与柔性牙刷相比，与更刚性、静止的台面接触时，力、振动和加速度的初始响应幅度更高、上升更陡峭。
• SVM分类器在区分牙刷与台面时实现了100%的准确率，是所有测试配对中的最高性能。
• 系统在识别毛巾与毛巾架时达到95%的准确率，表明其在中等柔性的物体上表现优异。
• 在马桶把手与马桶箱、马桶座圈与马桶箱两组配对中，识别准确率均降至75%，表明对相似或低柔性的物体存在识别挑战。
• 研究表明，使用15个主成分的PCA可保留超过97%的数据方差，实现了对分类任务有效的降维。