[论文解读] Deep Learning for Tactile Understanding From Visual and Haptic Data

Yang Gao, Lisa Anne Hendricks+2 more|arXiv (Cornell University)|Nov 19, 2015

Robot Manipulation and Learning参考文献 11被引用 28

一句话总结

本文提出了一种深度学习框架，通过结合视觉和触觉数据，利用深度神经网络学习跨模态的统一特征，对触觉形容词（例如：光滑、金属感、可压缩）进行分类。结果表明，将视觉和触觉信号相结合可显著提升分类准确率，相较于单模态方法，视觉模型在‘cool’上的表现优于触觉模型，而触觉模型在‘metallic’和‘compressible’上的表现优于视觉模型。

ABSTRACT

Robots which interact with the physical world will benefit from a fine-grained tactile understanding of objects and surfaces. Additionally, for certain tasks, robots may need to know the haptic properties of an object before touching it. To enable better tactile understanding for robots, we propose a method of classifying surfaces with haptic adjectives (e.g., compressible or smooth) from both visual and physical interaction data. Humans typically combine visual predictions and feedback from physical interactions to accurately predict haptic properties and interact with the world. Inspired by this cognitive pattern, we propose and explore a purely visual haptic prediction model. Purely visual models enable a robot to "feel" without physical interaction. Furthermore, we demonstrate that using both visual and physical interaction signals together yields more accurate haptic classification. Our models take advantage of recent advances in deep neural networks by employing a unified approach to learning features for physical interaction and visual observations. Even though we employ little domain specific knowledge, our model still achieves better results than methods based on hand-designed features.

研究动机与目标

• 使机器人能够利用视觉和触觉感官数据预测物体的触觉属性。
• 开发一种统一的深度学习框架，从视觉和触觉信号中学习丰富且可迁移的特征，同时最小化领域特定的设计。
• 研究视觉和触觉模态在分类定性触觉形容词时的互补性。
• 通过激活分析，分析哪些触觉信号（例如：温度、压力）对特定形容词的分类最具预测力。

提出的方法

• 在BioTac传感器获取的原始触觉信号上训练深度卷积神经网络（CNN），采用‘分组’策略独立处理各个信号（例如：$p_{AC}$、$t_{AC}$），之后进行融合。
• 通过使用在材料分类任务上预训练的权重初始化视觉模型，实现迁移学习，从而在少于1,000个训练样本的情况下实现有效学习。
• 采用早期或晚期融合策略结合视觉和触觉特征，在一个触觉形容词基准数据集上评估性能。
• 使用AUC分数评估模型在多个触觉形容词上的性能，比较单模态（视觉或触觉）与多模态模型的表现。
• 通过最终卷积层（conv3）的激活图分析特征重要性，识别出对分类贡献最大的触觉信号通道。
• 在三个不同的训练/测试划分上进行消融研究，以确保结果的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 深度神经网络能否在极少领域特定特征工程的前提下，有效从原始视觉和触觉数据中学习到用于触觉分类的特征？
• RQ2 仅使用视觉数据进行触觉预测的性能，与使用物理交互数据的模型相比如何？
• RQ3 视觉和触觉信号在分类触觉形容词时，其互补性在多大程度上体现？
• RQ4 哪些特定的触觉信号（例如：温度、压力、电极活动）对分类特定形容词（如‘metallic’或‘compressible’）最具预测力？

主要发现

• 结合视觉和触觉特征的多模态模型相比单模态模型，AUC分数显著更高，证明了两种模态之间的互补性。
• 仅视觉模型在分类‘cool’形容词时优于触觉模型，表明颜色或反照率等视觉线索是热感感知的强预测因子。
• 触觉模型在分类‘metallic’形容词时优于视觉模型，可能是因为热导率和压力响应在触觉感知中至关重要。
• 激活分析显示，核心温度变化（$t_{AC}$）是分类‘metallic’物体的关键信号，而电极活动对分类‘compressible’物体至关重要。
• 对‘metallic’物体的错误预测始终与$t_{AC}$通道的低激活相关，表明模型依赖于热反馈。
• 模型在不同物理交互下表现出良好的泛化能力，同一物体在不同交互中表现出相似的激活模式。