[论文解读] 3D Shape Reconstruction from Vision and Touch

Edward J. Smith, Roberto Calandra+5 more|arXiv (Cornell University)|Jul 7, 2020

Robot Manipulation and Learning参考文献 70被引用 24

一句话总结

本文提出一种基于图表的3D形状重建方法，通过融合RGB视觉信号与机器人交互中模拟的触觉信号，提升3D物体建模质量。通过图卷积网络（GCNs）将高分辨率局部触觉数据与全局视觉上下文相结合，该方法在单模态基线基础上实现了更优的重建质量，且随着抓握次数增加，性能持续提升，触觉信号不仅改善接触区域，还增强了邻近区域的重建效果。

ABSTRACT

When a toddler is presented a new toy, their instinctual behaviour is to pick it upand inspect it with their hand and eyes in tandem, clearly searching over its surface to properly understand what they are playing with. At any instance here, touch provides high fidelity localized information while vision provides complementary global context. However, in 3D shape reconstruction, the complementary fusion of visual and haptic modalities remains largely unexplored. In this paper, we study this problem and present an effective chart-based approach to multi-modal shape understanding which encourages a similar fusion vision and touch information.To do so, we introduce a dataset of simulated touch and vision signals from the interaction between a robotic hand and a large array of 3D objects. Our results show that (1) leveraging both vision and touch signals consistently improves single-modality baselines; (2) our approach outperforms alternative modality fusion methods and strongly benefits from the proposed chart-based structure; (3) there construction quality increases with the number of grasps provided; and (4) the touch information not only enhances the reconstruction at the touch site but also extrapolates to its local neighborhood.

研究动机与目标

• 为解决视觉与触觉在3D形状重建中融合不足的问题，受人类婴儿多模态物体观察行为的启发。
• 开发一种方法，有效结合全局视觉上下文与高分辨率局部触觉信息，以提升3D重建的保真度。
• 引入一个逼真的机器人手-物体交互模拟数据集，包含同步的RGB与触觉信号，用于基准测试。
• 评估触觉信号是否不仅提升接触点，还能改善其局部邻域区域的重建质量。

提出的方法

• 该方法采用基于图表的表示方式，分别对视觉和触觉模态独立预测不相交的网格表面元素（图表）。
• 通过CNN编码器处理来自RGB图像的视觉信号，提取多尺度特征，随后与顶点特征融合，用于基于GCN的图表形变。
• 触觉信号通过类似DIGIT的传感器模型模拟，提供抓握点处的高分辨率局部形状数据。
• 采用“填空式”重建策略，利用触觉图表引导全局视觉图表的预测，提升表面补全效果。
• 在形变后的图表上应用图卷积网络（GCNs），以在网格表面上传播并优化形状预测。
• 通过最小化预测形状与真实3D形状之间差异的重建损失，实现端到端训练。

实验结果

研究问题

• RQ1 与单模态方法相比，视觉与触觉信号的融合是否能显著提升3D形状重建性能？
• RQ2 所提出的基于图表的架构是否能有效利用视觉（全局上下文）与触觉（局部保真度）的互补优势？
• RQ3 抓握次数如何影响重建质量？触觉信号是否能提升接触点以外区域的泛化能力？
• RQ4 触觉信号是否不仅能增强接触区域的重建，还能改善其周围局部邻域的重建质量？
• RQ5 在重建精度与鲁棒性方面，所提方法与其它融合策略相比表现如何？

主要发现

• 同时利用视觉与触觉信号可稳定提升重建精度，多模态模型显著优于仅使用视觉或仅使用触觉的基线方法。
• 所提出的基于图表的融合方法优于其他融合策略，验证了该架构在整合多模态信号方面的有效性。
• 随着抓握次数增加，重建质量持续提升，表明额外的触觉信号提供了有价值的几何约束。
• 触觉信息不仅提升了接触点的重建质量，还降低了邻近局部区域的误差，表明触觉保真度具有空间传播效应。
• 模型在触觉接触点处实现了更高的局部精度，并展现出更优的全局表面补全能力，验证了视觉与触觉在3D理解中的互补性。