[论文解读] Deep Learning for Surface Material Classification Using Haptic And Visual Information

Haitian Zheng, Lu Fang+4 more|arXiv (Cornell University)|Dec 21, 2015

Tactile and Sensory Interactions参考文献 28被引用 8

一句话总结

本文提出了一种基于全卷积网络（FCN）的深度学习框架，通过结合触觉加速度信号与视觉纹理图像，联合分类表面材质，在TUM表面材质数据库上实现了最先进（SOTA）的准确率。该方法利用FCN高效处理可变尺寸输入的能力，在速度和准确率上均优于传统使用滑动窗口的CNN方法。

ABSTRACT

When a user scratches a hand-held rigid tool across an object surface, an acceleration signal can be captured, which carries relevant information about the surface. More importantly, such a haptic signal is complementary to the visual appearance of the surface, which suggests the combination of both modalities for the recognition of the surface material. In this paper, we present a novel deep learning method dealing with the surface material classification problem based on a Fully Convolutional Network (FCN), which takes as input the aforementioned acceleration signal and a corresponding image of the surface texture. Compared to previous surface material classification solutions, which rely on a careful design of hand-crafted domain-specific features, our method automatically extracts discriminative features utilizing the advanced deep learning methodologies. Experiments performed on the TUM surface material database demonstrate that our method achieves state-of-the-art classification accuracy robustly and efficiently.

研究动机与目标

• 解决在自由手部工具交互过程中，面对触觉与视觉条件变化时，实现鲁棒的表面材质分类的挑战。
• 通过端到端的自动特征学习，克服传统材质分类中手工设计特征的局限性。
• 通过融合触觉与视觉模态，利用其互补性，提升分类准确率与效率。
• 利用FCN架构开发一种可扩展、支持实时处理的系统，无需滑动窗口计算即可处理任意输入尺寸。
• 证明多模态融合在区分外观或触觉响应相似的材质时，优于单模态方法。

提出的方法

• 采用全卷积网络（FCN）对触觉信号进行分类，受语音识别技术启发，因加速度信号具有时间特性。
• 通过迁移学习，将预训练的ImageNet CNN适配于视觉纹理分类任务，在TUM数据集上微调网络权重。
• 设计一种混合融合网络，将来自独立触觉与视觉FCN分支的特征进行拼接，以提升判别能力。
• 采用重叠片段上的最大投票策略，聚合预测结果，提升对不同扫描速度与力度的鲁棒性。
• 使用1×1卷积层替代全连接层进行FCN训练，实现对任意输入尺寸的处理，提升推理效率。
• 将所提出的基于FCN的方法与传统的CNN+滑动窗口方法进行对比，验证其在速度与准确率上的优势。

实验结果

研究问题

• RQ1 全卷积网络能否在无需手工特征的情况下，有效从原始触觉加速度信号与对应图像中分类表面材质？
• RQ2 触觉与视觉数据的多模态融合相比单模态方法，如何提升分类准确率？
• RQ3 与传统滑动窗口CNN相比，FCN架构在该任务中在多大程度上降低了计算开销？
• RQ4 哪些材质对对单模态系统最具挑战性？融合网络能否解决这些混淆问题？
• RQ5 所提出方法在自由手部探索过程中，面对多样的扫描速度与力度时，是否仍能保持高准确率？

主要发现

• 所提出的FusionNet-FC₂在TUM表面材质数据库上实现了最先进分类准确率，优于现有方法。
• HapticNet与VisualNet分别实现了高准确率，其中HapticNet在外观相似但触觉特性不同的材质上表现尤为出色。
• 融合网络显著减少了误分类，混淆矩阵中对角线更接近1，表明性能优于单模态模型。
• HapticNet的输入处理速度比CNN+滑动窗口基线快9.5倍（20.5ms vs. 195.4ms），展现出显著的效率优势。
• VisualNet相比滑动窗口方法实现了51倍的速度提升（154.3ms vs. 7903.4ms），证实了FCN架构的高效性。
• 片段分类直方图显示，FusionNet-FC₂在全部69种材质上均保持了稳定的高准确率，验证了其鲁棒性与泛化能力。