[论文解读] Tool Substitution with Shape and Material Reasoning Using Dual Neural Networks

Nithin Shrivatsav Srikanth, Lakshmi Nair+1 more|arXiv (Cornell University)|Nov 11, 2019

Manufacturing Process and Optimization参考文献 17被引用 8

一句话总结

本文提出了一种双神经网络框架，通过联合推理形状与材料属性，对现实机器人任务中的候选工具进行替换排序。通过结合3D点云形状相似性（基于ESF特征）与光谱材料相似性（来自手持式光谱仪），该方法在真实世界测试集上显著提升了工具替换性能——尤其在hit@5（86%）和hit@1（53%）方面表现优异，优于仅依赖形状或仅依赖材料的基线方法，在30个物体和6项操作的真实世界测试集中表现突出。

ABSTRACT

This paper explores the problem of tool substitution, namely, identifying substitute tools for performing a task from a given set of candidate tools. We introduce a novel approach to tool substitution, that unlike prior work in the area, combines both shape and material reasoning to effectively identify substitute tools. Our approach combines the use of visual and spectral reasoning using dual neural networks. It takes as input, the desired action to be performed, and outputs a ranking of the available candidate tools based on their suitability for performing the action. Our results on a test set of 30 real-world objects show that our approach is able to effectively match shape and material similarities, with improved tool substitution performance when combining both.

研究动机与目标

• 解决先前工具替换方法仅依赖视觉或基于形状推理的局限性，通过引入材料属性。
• 通过利用可用物体实现有效替换，提升机器人在真实场景中缺少标准工具时的适应能力。
• 开发一个统一框架，整合形状与材料推理，基于其对特定动作的适用性对候选工具进行排序。
• 通过鲁棒的相似性学习，克服真实部署中的挑战，如部分点云和单次光谱扫描。
• 在实际机器人工具替换任务中，证明联合形状与材料推理相较于单模态方法的优越性。

提出的方法

• 使用形状函数集成（ESF）表示工具的3D点云形状，实现紧凑且具有区分性的形状描述符。
• 应用双神经网络，基于其ESF特征计算候选工具与标准工具之间的形状相似性得分。
• 使用手持式SCiO光谱仪采集光谱数据，表征工具的材料属性。
• 训练第二个双神经网络，基于光谱读数计算材料相似性得分，实现细粒度的材料匹配。
• 将形状与材料相似性得分融合为联合排序模型，为给定动作输出候选工具的排序列表。
• 在双网络中采用共享权重，以确保两种模态间特征学习与相似性评分的一致性。

实验结果

研究问题

• RQ1 与单模态方法相比，联合推理形状与材料属性是否能提升工具替换性能？
• RQ2 双神经网络在从合成3D模型泛化到真实世界部分点云和单次光谱扫描时，表现如何？
• RQ3 在真实世界设置中，形状推理与材料推理对整体工具替换准确率的相对贡献分别是什么？
• RQ4 如反光表面或未见过的材料等挑战，如何影响工具替换系统的性能？
• RQ5 结合形状与材料推理在多大程度上减少了选择不适当替代品的错误？

主要发现

• 联合形状与材料推理方法在hit@5上达到86%，显著优于仅形状（67%）和仅材料（58%）的基线方法。
• 该方法在hit@1上达到53%，表明在超过一半的测试案例中，正确替代品被排在首位，展现出强大的顶级性能。
• 所有测试集中正确工具的平均排名为3.0，表明整体排序质量优异。
• 仅形状推理在泛化到真实世界部分点云时表现更优（hit@5为67%），而仅材料推理在从训练到真实世界光谱数据的领域迁移中表现较差。
• 错误的材料预测（如将金属马克杯误判为塑料）导致‘击打’等动作中出现错误的高排名，表明材料误分类是主要的失败模式。
• 系统对部分观测和真实世界噪声表现出鲁棒性，但性能受限于材料泛化能力不足及反光表面伪影的影响。