[论文解读] Learning to Detect Slip with Barometric Tactile Sensors and a Temporal Convolutional Neural Network

Abhinav Grover, Philippe Nadeau+2 more|arXiv (Cornell University)|Feb 19, 2022

Advanced Sensor and Energy Harvesting Materials参考文献 43被引用 20

一句话总结

本文提出一种基于数据驱动的滑移检测方法，采用低成本的气压触觉传感器与时间卷积神经网络（TCN），在检测滑移事件时准确率超过91%。该方法利用安装在机械臂夹爪上的TakkTile传感器获取的时空压力模式，实现实时滑移分类，对不同滑移速度、方向及物体表面特性的鲁棒性表现优异，适用于多种现实世界中的操作任务。

ABSTRACT

The ability to perceive object slip via tactile feedback enables humans to accomplish complex manipulation tasks including maintaining a stable grasp. Despite the utility of tactile information for many applications, tactile sensors have yet to be widely deployed in industrial robotics settings; part of the challenge lies in identifying slip and other events from the tactile data stream. In this paper, we present a learning-based method to detect slip using barometric tactile sensors. These sensors have many desirable properties including high durability and reliability, and are built from inexpensive, off-the-shelf components. We train a temporal convolution neural network to detect slip, achieving high detection accuracies while displaying robustness to the speed and direction of the slip motion. Further, we test our detector on two manipulation tasks involving a variety of common objects and demonstrate successful generalization to real-world scenarios not seen during training. We argue that barometric tactile sensing technology, combined with data-driven learning, is suitable for many manipulation tasks such as slip compensation.

研究动机与目标

• 解决使用低成本、耐用的触觉传感器在机器人操作中实现可靠滑移检测的挑战。
• 克服传统触觉传感器易碎、昂贵或需要复杂集成的局限性。
• 开发一种基于学习的方法，直接从原始压力时间序列数据中检测滑移，无需依赖力矩传感器或高频采样。
• 展示滑移检测器在不同曲率、硬度和表面纹理的物体类型上的泛化能力。
• 在现实世界机器人任务（如手中敲击和物体抓举）中评估性能，测试条件涵盖不同的抓握状态。

提出的方法

• 在Robotiq三指夹爪指尖上安装低成本的TakkTile气压触觉传感器——嵌入橡胶基质中的MEMS气压计，以捕捉接触过程中的压力变化。
• 在包含不同物体、滑移速度、方向和表面特性的受控滑移实验中采集时间序列压力数据。
• 训练时间卷积神经网络（TCN）根据时空压力模式，将输入压力序列分类为“静态”或“滑移”状态。
• 设计TCN架构以建模触觉序列中的长程依赖关系，从而在多种滑移动力学下实现鲁棒检测。
• 将基于TCN的方法与经典频域方法及基于振动数据的其他学习方法进行比较。
• 实现低延迟的实时推理，适用于机器人操作任务中的闭环控制。

实验结果

研究问题

• RQ1 TCN能否有效学习从多种物体类型和滑移条件下原始气压触觉数据中检测滑移？
• RQ2 与基于振动数据的经典频域滑移检测方法相比，所提方法表现如何？
• RQ3 该滑移检测器在滑移速度、方向及物体表面特性（如光滑度、可变形性、曲率）变化下的鲁棒性如何？
• RQ4 该检测器能否泛化至现实世界机器人任务（如手中敲击和物体抓举），其中实际条件与训练数据存在差异？
• RQ5 传感器布局与物体几何形状对实际操作场景中滑移检测性能有何影响？

主要发现

• 基于TCN的滑移检测器在验证数据集上平均准确率达到91.5%，优于经典频域方法及其他学习方法。
• 在锤击测试中，检测器在六种物体上平均准确率为87.5%，在光滑刚性物体（如塑料球和金属罐）上表现最佳（90%）。
• 在物体抓举测试中，检测器平均成功率达72.5%，其中塑料盒成功率为100%，金属罐为95%，表明在更长、更稳定的物体上表现优异。
• 检测器对滑移类型和表面纹理具有高敏感性，但在可变形泡沫套管上表现较差（80%），可能由于材料变形导致压力重新分布。
• 该方法对滑移速度和方向具有高度鲁棒性，在测试中即使滑移动力学显著变化，仍保持高检测准确率。
• 系统通过在检测到滑移时触发夹爪闭合，成功实现实时滑移补偿，在存在力不匹配和不稳定的抓握任务中表现出高可靠性。