[论文解读] FingerVision Tactile Sensor Design and Slip Detection Using Convolutional LSTM Network

Yazhan Zhang, Zicheng Kan+3 more|arXiv (Cornell University)|Oct 5, 2018

Advanced Sensor and Energy Harvesting Materials参考文献 19被引用 74

一句话总结

本论文提出 FingerVision，一种嵌入标记的光学触觉传感器，以及基于 ConvLSTM 的框架，利用变形场数据进行滑动检测。

ABSTRACT

Tactile sensing is essential to the human perception system, so as to robot. In this paper, we develop a novel optical-based tactile sensor "FingerVision" with effective signal processing algorithms. This sensor is composed of soft skin with embedded marker array bonded to rigid frame, and a web camera with a fisheye lens. While being excited with contact force, the camera tracks the movements of markers and deformation field is obtained. Compared to existing tactile sensors, our sensor features compact footprint, high resolution, and ease of fabrication. Besides, utilizing the deformation field estimation, we propose a slip classification framework based on convolution Long Short Term Memory (convolutional LSTM) networks. The data collection process takes advantage of the human sense of slip, during which human hand holds 12 daily objects, interacts with sensor skin and labels data with a slip or non-slip identity based on human feeling of slip. Our slip classification framework performs high accuracy of 97.62% on the test dataset. It is expected to be capable of enhancing the stability of robot grasping significantly, leading to better contact force control, finer object interaction and more active sensing manipulation.

研究动机与目标

• 开发高分辨率、稳定的光学触觉传感器，易于制造。
• 从标记移动中捕获密集的变形场，以理解接触。
• 利用时空学习模型对变形数据进行滑动行为检测。
• 评估滑动检测性能相对于现有方法，并分析迁移性。
• 展示对鲁棒抓取与操作的潜在改进。

提出的方法

• FingerVision 的设计：装嵌标记阵列的弹性体、鱼眼相机，以及用于稳定标记跟踪的封闭框架。
• 使用斑点检测进行标记检测和逐帧最近邻(KNN)对应的方法进行跟踪。
• 通过对跟踪到的标记位移进行 RBF 插值实现变形场重建。
• 卷积LSTM 网络处理10帧多通道变形场输入（dx、dy、大小），以分类滑动与非滑动。
• 模型细节：ConvLSTM 具有 64 个隐藏单元，5x5 的卷积核，后接一个全连接层输出二类结果。
• 使用 800 个滑动样本和 800 个非滑动样本（通过滑动窗口扩增到 8000），采用交叉熵损失和 Adam 优化器进行训练。

实验结果

研究问题

• RQ1 FingerVision 是否能够提供用于触觉感知和接触表征的可靠标记基变形场？
• RQ2 一个 ConvLSTM 框架是否能够从时空变形数据中准确检测滑动事件？
• RQ3 基于 ConvLSTM 的滑动检测与 CNN+LSTM 或单变量信号方法在准确性和效率方面如何比较？
• RQ4 该系统是否适用于机器人平台上的实时滑动检测？
• RQ5 该方法在对象和加工变异方面的迁移性如何？

主要发现

• 使用带有 ConvLSTM 的插值变形场的滑动检测准确率为 97.62%。
• ConvLSTM 模型具有 269,826 个参数，在测试硬件上实现实时前向传播时间为 0.014 秒。
• 对比方法在 88.03%（CNN+LSTM）和 94.5%（对光谱信号的 LSTM）下，性能较低。
• FingerVision 提供高分辨率、稳定的变形场，适用于动态抓取任务。
• 该方法展示出更高的准确性以及在操作任务中改进抓握稳定性和接触感知的潜力。