[论文解读] A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network

Wei Xu, Guoyuan Zhou+5 more|arXiv (Cornell University)|Oct 3, 2023

Tactile and Sensory Interactions参考文献 34被引用 4

一句话总结

本文提出了一种基于视觉的触觉传感系统，该系统使用单个传感器和深度神经网络，无需为每种模态单独设计解耦结构，即可同时感知多种接触模态（如物体分类、位置、姿态和力）。该系统通过从视觉表征中端到端学习实现多模态触觉感知，降低了软硬件复杂度，为机器人技术和生物医学应用提供了集成化传感方案。

ABSTRACT

In general, robotic dexterous hands are equipped with various sensors for acquiring multimodal contact information such as position, force, and pose of the grasped object. This multi-sensor-based design adds complexity to the robotic system. In contrast, vision-based tactile sensors employ specialized optical designs to enable the extraction of tactile information across different modalities within a single system. Nonetheless, the decoupling design for different modalities in common systems is often independent. Therefore, as the dimensionality of tactile modalities increases, it poses more complex challenges in data processing and decoupling, thereby limiting its application to some extent. Here, we developed a multimodal sensing system based on a vision-based tactile sensor, which utilizes visual representations of tactile information to perceive the multimodal contact information of the grasped object. The visual representations contain extensive content that can be decoupled by a deep neural network to obtain multimodal contact information such as classification, position, posture, and force of the grasped object. The results show that the tactile sensing system can perceive multimodal tactile information using only one single sensor and without different data decoupling designs for different modal tactile information, which reduces the complexity of the tactile system and demonstrates the potential for multimodal tactile integration in various fields such as biomedicine, biology, and robotics.

研究动机与目标

• 开发一种紧凑的单传感器触觉系统，可在不进行模态间硬件或数据解耦的情况下捕获多种接触模态。
• 通过采用基于视觉的方法替代多传感器配置，降低机器人系统中多模态触觉传感的复杂度。
• 通过统一的神经网络架构，实现从单一输入图像端到端感知多样化的触觉信息（如分类、位置、姿态和力）。
• 证明利用视觉表征学习在单个传感器系统中集成多种触觉模态的可行性。
• 探索基于视觉的触觉传感在机器人、生物医学和仿生系统中的潜在应用。

提出的方法

• 设计了一种基于视觉的触觉传感器，其光学结构可将触觉交互编码为相机上的视觉图案。
• 系统捕获传感器在受力变形时的视觉图像，其中包含丰富的多模态信息。
• 训练一个深度神经网络，端到端地将视觉表征解码为多种触觉模态：物体分类、接触位置、姿态和力。
• 网络架构经过优化，可从单张输入图像中联合回归和分类多个输出，无需为不同模态设计独立解耦结构。
• 训练过程采用多任务学习框架，从同一视觉输入中同时优化所有触觉模态的性能。
• 在配备多样化物体的机械手系统上对系统进行验证，以评估感知精度和鲁棒性。

实验结果

研究问题

• RQ1 单个基于视觉的触觉传感器结合深度神经网络，能否同时感知多种接触模态（如位置、力、姿态和物体类别）？
• RQ2 统一的神经网络架构在无需模态特定解耦的情况下，能多大程度上从视觉表征中解码出多样化的触觉信息？
• RQ3 与传统的多传感器触觉系统相比，所提系统的精度和系统复杂度表现如何？
• RQ4 该系统在不同接触力、物体形状和抓握姿态下的鲁棒性如何？
• RQ5 该系统是否能泛化到真实机器人应用中，而无需大量重新训练或传感器重新配置？

主要发现

• 该系统仅使用单个基于视觉的传感器和单个神经网络，成功实现了对多种触觉模态（分类、位置、姿态和力）的感知。
• 所提方法消除了为每种触觉模态单独进行数据解耦或硬件设计的需求，显著降低了系统复杂度。
• 深度神经网络能够从传感器形变的视觉表征中高精度地估计接触力、位置和物体姿态。
• 系统在多种物体和接触条件下表现出稳健性能，表明其具备强大的泛化能力。
• 结果表明，当通过深度神经网络解码时，单个传感器的视觉表征中已包含足够信息，可实现多模态触觉感知。
• 该方法实现了集成化触觉传感，具有在机器人、假肢和生物医学设备中应用的潜力。