[论文解读] Active Clothing Material Perception using Tactile Sensing and Deep Learning

Wenzhen Yuan, Yuchen Mo+2 more|arXiv (Cornell University)|Nov 2, 2017

Industrial Vision Systems and Defect Detection参考文献 20被引用 8

一句话总结

本论文提出了一套机器人系统，通过使用GelSight传感器进行触觉感知，并结合Kinect的视觉引导探索，实现对衣物材质属性（如厚度、柔软度、洗涤方式等）的自主精细感知。通过结合卷积神经网络（CNN）进行触觉图像分类与基于深度图像的探索规划，该机器人在两次抓握内即可对77.4%的衣物实现自信分类，且在允许重试的情况下精度显著提升，展示了对未见过衣物实现有效闭环主动触觉感知的能力。

ABSTRACT

Humans represent and discriminate the objects in the same category using their properties, and an intelligent robot should be able to do the same. In this paper, we build a robot system that can autonomously perceive the object properties through touch. We work on the common object category of clothing. The robot moves under the guidance of an external Kinect sensor, and squeezes the clothes with a GelSight tactile sensor, then it recognizes the 11 properties of the clothing according to the tactile data. Those properties include the physical properties, like thickness, fuzziness, softness and durability, and semantic properties, like wearing season and preferred washing methods. We collect a dataset of 153 varied pieces of clothes, and conduct 6616 robot exploring iterations on them. To extract the useful information from the high-dimensional sensory output, we applied Convolutional Neural Networks (CNN) on the tactile data for recognizing the clothing properties, and on the Kinect depth images for selecting exploration locations. Experiments show that using the trained neural networks, the robot can autonomously explore the unknown clothes and learn their properties. This work proposes a new framework for active tactile perception system with vision-touch system, and has potential to enable robots to help humans with varied clothing related housework.

研究动机与目标

• 使机器人能够在自然环境中自主感知衣物的精细材质属性，超越粗粒度的视觉分类。
• 解决有效触觉探索的挑战，通过结合视觉（Kinect）与触觉（GelSight）传感，实现智能、自适应的探测。
• 开发一种闭环系统，在属性分类置信度较低时进行重试，提升鲁棒性与准确性。
• 构建一个包含153种多样化衣物的基准数据集，标注11项属性，用于触觉感知模型的训练与评估。
• 证明深度学习可泛化至未见过的衣物，通过主动触觉感知实现可靠的属性识别。

提出的方法

• 配备GelSight触觉传感器与Kinect深度相机的机械臂，在非结构化环境中对衣物进行自主探索。
• 系统使用卷积神经网络（CNN）从抓握过程中捕获的高分辨率触觉图像中分类11项衣物属性（如厚度、柔软度、洗涤方式）。
• 第二个CNN处理Kinect深度图像，检测并选择最优褶皱位置用于触觉探测，提升数据质量。
• 探索过程为闭环：若触觉CNN对分类的置信度较低，机器人将在其他位置重新尝试探测。
• 系统在包含153件衣物的6,616次探索迭代数据集上进行训练，数据划分为训练集、验证集与测试集。
• 采用混合方法，结合手工设计特征（如褶皱检测）与深度学习，提升探索规划的鲁棒性。

实验结果

研究问题

• RQ1 机器人能否仅通过触觉与视觉传感，在非结构化环境中自主感知衣物的精细材质属性？
• RQ2 基于视觉的触觉探索策略在选择对材质属性识别具有信息量的接触位置方面有多高效？
• RQ3 深度学习模型在多标签触觉属性分类任务中，对未见过的衣物泛化的程度如何？
• RQ4 闭环重试机制是否能提升基于触觉的属性感知的可靠性与准确性？
• RQ5 在数据集中，不同衣物属性（如弹性、耐用性）的识别难度是否存在差异？

主要发现

• 系统在两次抓握内实现77.42%的分类成功率，表明对‘易识别’衣物具有高效率。
• 启用重试后，所有11项属性的平均精确度显著提升，其中‘弹性’（从0.74提升至0.81）与‘耐用性’（从0.86提升至0.86）提升最明显。
• 对于‘羊毛质’与‘防风性’属性，系统在启用重试后分别达到91%与82%的精确度，显示出对语义属性的强识别能力。
• 触觉CNN在未见过的测试衣物上达到0.65的平均F1得分，显著高于随机水平（0.2–0.5），证明其具备超越训练集的泛化能力。
• 探索规划CNN在选择有效抓握位置方面的成功率为0.73，表明衣物类型与整体形状对位置选择性能影响有限。
• 系统对传感器差异具有鲁棒性，即使使用未参与训练的另一款GelSight传感器，仍能获得可用结果，尽管存在轻微光照分布差异。