[论文解读] Multi-Modal Geometric Learning for Grasping and Manipulation

Jacob Varley, David Watkins-Valls+1 more|arXiv (Cornell University)|Mar 20, 2018

Robot Manipulation and Learning参考文献 26被引用 7

一句话总结

本文提出了一种多模态几何学习框架，通过3D卷积神经网络（CNN）融合深度与触觉传感数据，以提升3D物体重建与机器人操作性能。通过利用触觉反馈填补深度数据中的遮挡区域，该模型显著增强了几何推理能力与抓取成功率，在基准评估中优于现有的视觉-触觉方法。

ABSTRACT

This work provides an architecture that incorporates depth and tactile information to create rich and accurate 3D models useful for robotic manipulation tasks. This is accomplished through the use of a 3D convolutional neural network (CNN). Offline, the network is provided with both depth and tactile information and trained to predict the object's geometry, thus filling in regions of occlusion. At runtime, the network is provided a partial view of an object. Tactile information is acquired to augment the captured depth information. The network can then reason about the object's geometry by utilizing both the collected tactile and depth information. We demonstrate that even small amounts of additional tactile information can be incredibly helpful in reasoning about object geometry. This is particularly true when information from depth alone fails to produce an accurate geometric prediction. Our method is benchmarked against and outperforms other visual-tactile approaches to general geometric reasoning. We also provide experimental results comparing grasping success with our method.

研究动机与目标

• 通过结合深度与触觉传感，提升机器人操作中3D物体几何形状预测的性能。
• 解决仅依赖深度传感在处理遮挡与视图不完整时的局限性。
• 开发一种基于学习的方法，利用部分深度数据与稀疏触觉数据推理完整物体几何形状。
• 证明即使是最小量的触觉输入，也能显著提升几何推理与操作成功率。
• 在基准测试中将该方法与现有视觉-触觉方法进行对比，验证其在抓取任务中的优越性。

提出的方法

• 该方法采用在配对深度与触觉数据上离线训练的3D卷积神经网络（CNN），以预测完整物体几何形状。
• 推理阶段，网络将实时获取的部分深度观测与触觉传感器读数进行融合，以推断完整的3D形状。
• 触觉数据用于补充深度数据，特别是在深度传感因遮挡或低纹理而失效的区域。
• 模型被训练为从不完整输入中重建完整物体几何形状，学习推断隐藏部分。
• 通过学习深度与触觉特征的联合表征，架构被设计为处理多模态输入。
• 即使触觉反馈稀疏，该方法仍能实现稳健的几何推理，提升对未见物体的泛化能力。

实验结果

研究问题

• RQ1 当深度数据不完整时，触觉反馈是否能显著提升3D物体几何形状重建性能？
• RQ2 与仅使用深度或仅使用触觉的方法相比，深度与触觉数据融合在几何推理中的表现如何？
• RQ3 少量触觉数据在多大程度上提升了遮挡区域3D形状预测的准确性？
• RQ4 所提出的多模态学习框架是否能带来可测量的抓取成功率提升？
• RQ5 该方法在不同物体形状与操作场景下的泛化能力如何？

主要发现

• 所提方法在一般几何推理任务中优于其他视觉-触觉方法。
• 即使是最小量的触觉反馈，也能显著提升对3D物体遮挡区域的重建效果。
• 深度与触觉数据的融合使3D形状预测比仅使用深度传感更准确、更完整。
• 在实验评估中，该方法的抓取成功率显著高于基线方法。
• 3D CNN能有效利用多模态输入推理物体几何形状，尤其在复杂遮挡场景中表现优异。
• 结果证实，触觉传感提供了深度传感器无法捕捉的关键几何线索。