[论文解读] Robotic Tactile Perception of Object Properties: A Review

Shan Luo, João Bimbo+2 more|arXiv (Cornell University)|Nov 10, 2017

Tactile and Sensory Interactions参考文献 128被引用 13

一句话总结

本综述系统回顾了通过分析触觉传感技术、识别技术及传感器融合策略，对物体属性（如形状、材质和位姿）的机器人触觉感知。文章强调了深度学习在触觉数据解释中的日益重要作用，同时指出了在数据收集、标注及实时部署方面面临的挑战。

ABSTRACT

Touch sensing can help robots understand their sur- rounding environment, and in particular the objects they interact with. To this end, roboticists have, in the last few decades, developed several tactile sensing solutions, extensively reported in the literature. Research into interpreting the conveyed tactile information has also started to attract increasing attention in recent years. However, a comprehensive study on this topic is yet to be reported. In an effort to collect and summarize the major scientific achievements in the area, this survey extensively reviews current trends in robot tactile perception of object properties. Available tactile sensing technologies are briefly presented before an extensive review on tactile recognition of object properties. The object properties that are targeted by this review are shape, surface material and object pose. The role of touch sensing in combination with other sensing sources is also discussed. In this review, open issues are identified and future directions for applying tactile sensing in different tasks are suggested.

研究动机与目标

• 系统回顾最先进的触觉传感技术及其在机器人感知中的应用。
• 识别在解释触觉数据以实现物体属性识别（包括材质、形状和位姿）方面面临的关键挑战。
• 研究触觉传感与视觉及其他模态的融合，以提升感知与控制能力。
• 分析深度学习在触觉感知中的作用，并指出在数据收集、标注及实时性能方面的局限性。
• 概述触觉感知在机器人领域中的开放性问题与未来研究方向。

提出的方法

• 根据传感原理、材料及转换机制对触觉传感器进行分类。
• 回顾用于材质、形状和位姿识别的触觉识别方法，包括基于局部模式的方法（如Bag-of-Features）以及结合运动觉与触觉信息的全局形状估计方法。
• 分析结合视觉、触觉与本体感觉的传感器融合策略，以提升物体定位与识别性能。
• 评估深度学习在触觉感知中的应用，特别是卷积神经网络（CNNs）在形状与硬度识别中的表现，并讨论领域自适应与无监督学习方法。
• 研究数据收集的挑战以及缺乏标准化触觉数据集的问题，强调构建更大规模、多样化且标注良好的触觉数据集的迫切需求。
• 提出一种传感器层级框架，以在多模态感知系统中优先处理触觉数据。

实验结果

研究问题

• RQ1 当前的触觉传感技术有哪些？它们在性能与应用方面有何差异？
• RQ2 触觉传感系统在识别物体属性（如材质、形状和位姿）方面的有效性如何？
• RQ3 触觉传感如何与视觉及其他模态有效融合，以提升机器人感知能力？
• RQ4 将深度学习应用于触觉感知的主要局限性是什么？如何克服这些局限？
• RQ5 在触觉数据收集、标注与基准测试方面存在哪些主要开放性挑战？

主要发现

• 触觉传感为材质与形状感知提供了关键信息，在细粒度纹理与柔顺性分析方面常优于视觉感知。
• 基于局部触觉模式的方法（如Bag-of-Features）在材质识别中表现良好，但缺乏三维空间上下文信息，表明需要引入全局形状信息整合。
• 触觉阵列传感器在物体定位方面比单点传感器更具鲁棒性，尽管将二维接触图案映射到三维物体几何形状仍存在挑战。
• 与视觉融合的传感器融合可显著提升物体定位的准确度与鲁棒性，尤其在视觉数据模糊或被遮挡时。
• 深度学习模型（尤其是卷积神经网络）在触觉形状与硬度识别中表现优异，但面临计算成本高与数据稀缺的问题。
• 触觉感知的真值标注仍是主要瓶颈，当前方法依赖于小规模且可能存在偏差的人工标注，亟需发展无监督与领域自适应学习方法。