[论文解读] Pregrasp Object Material Classification by a Novel Gripper Design with Integrated Spectroscopy

Nathaniel Hanson, Tarik Keleştemur+2 more|arXiv (Cornell University)|Jul 3, 2022

Advanced Chemical Sensor Technologies被引用 5

一句话总结

本文提出一种集成可见-近红外（VNIR）光谱与内窥成像的新型双指机械夹爪，实现非接触式抓取前材料分类。通过使用光谱数据的递归非线性支持向量机（SVM），系统在区分32种外观相似的水果类型时达到96.4%的准确率，较最先进视觉方法高出29.4%，且随着夹爪靠近物体，分类置信度持续提升。

ABSTRACT

Robots benefit from being able to classify objects they interact with or manipulate based on their material properties. This capability ensures fine manipulation of complex objects through proper grasp pose and force selection. Prior work has focused on haptic or visual processing to determine material type at grasp time. In this work, we introduce a novel parallel robot gripper design and a method for collecting spectral readings and visual images from within the gripper finger. We train a nonlinear Support Vector Machine (SVM) that can classify the material of the object about to be grasped through recursive estimation, with increasing confidence as the distance from the finger tips to the object decreases. In order to validate the hardware design and classification method, we collect samples from 16 real and fake fruit varieties (composed of polystyrene/plastic) resulting in a dataset containing spectral curves, scene images, and high-resolution texture images as the objects are grasped, lifted, and released. Our modeling method demonstrates an accuracy of 96.4% in classifying objects in a 32 class decision problem. This represents a performance improvement by 29.4% over the state of the art computer vision algorithms at distinguishing between visually similar materials. In contrast to prior work, our recursive estimation model accounts for increasing spectral signal strength and allows for decisions to be made as the gripper approaches an object. We conclude that spectroscopy is a promising sensing modality for enabling robots to not only classify grasped objects but also understand their underlying material composition.

研究动机与目标

• 开发一种夹爪设计，实现在抓取前非接触式、实时的材料分类。
• 解决在无触觉交互条件下区分外观相似材料（如真果与假果）的挑战。
• 在紧凑夹爪中集成VNIR光谱与高分辨率成像技术，实现稳健的材料传感。
• 通过夹爪靠近物体过程中的递归估计，逐步提升分类置信度。
• 在包含16种真实与假水果品种的多样化数据集上验证系统性能，数据涵盖光谱、视觉与纹理信息。

提出的方法

• 设计一种双指平行夹爪，内置VNIR光谱仪（300–1200 nm）与内窥镜摄像头，实现在接近过程中的原位数据采集。
• 在夹爪接近、抓取与释放物体过程中，从夹爪视角采集光谱曲线（2048个离散波长）与高分辨率图像。
• 应用非负矩阵分解（NMF）将光谱数据维度降低99.5%，同时保留关键光谱特征以支持分类。
• 在降维后的光谱数据上训练非线性径向基函数（RBF）支持向量机（SVM），对32种类别的材料进行分类。
• 实现离散贝叶斯滤波进行递归估计，通过每次新增的光谱样本更新类别概率，逐步提升置信度。
• 与基于视觉的模型（如ResNet）进行对比，评估准确率、F1值与推理速度，使用全场景图像与内窥镜图像。

实验结果

研究问题

• RQ1 集成光谱技术的夹爪是否能够实现在抓取启动前的高精度、非接触式材料分类？
• RQ2 基于光谱的分类方法在区分外观相似材料方面，相较于最先进基于视觉的方法表现如何？
• RQ3 利用连续光谱样本进行递归估计在多大程度上提升了分类置信度与准确率？
• RQ4 该系统是否能仅依靠在接近过程中采集的光谱与视觉数据，可靠地对32种真实与假水果材料进行分类？
• RQ5 在使用光谱数据与基于图像的深度学习模型之间，模型准确率、推理速度与计算成本之间存在何种权衡？

主要发现

• RBF-SVM模型在使用光谱数据对32种外观相似的水果类型进行分类时，测试准确率达到96.41%，显著高于最佳视觉模型（使用内窥镜图像时准确率为67.00%）。
• 基于光谱的分类方法相比最佳性能的视觉模型，准确率提升29.4%，表明在外观模糊材料上具有更优性能。
• 通过离散贝叶斯滤波实现的递归估计显著提升了分类置信度，仅需三个连续光谱样本即可实现100%准确率。
• RBF-SVM模型的推理时间仅为0.00019秒（±0.00036），适合实时机器人控制，且仅需45.8 KB内存，远小于93.3 MB的ResNet模型。
• 通过NMF将输入维度降低99.5%，在保留32种材料类型间可分性的同时，实现高效处理。
• 系统在全部32个类别上均表现稳健，单类准确率均≥88%，误分类主要出现在早期接近阶段，此时光谱信号较弱。