[论文解读] Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer

Yunhai Han, Yu, Kelin+7 more|arXiv (Cornell University)|Dec 13, 2021

Robot Manipulation and Learning被引用 9

一句话总结

该论文提出了一种基于视觉-触觉Transformer的框架，用于学习可泛化的柔性物体机器人抓取策略，通过探索性动作（捏取和滑动）从RGB图像和GelSight触觉数据中提取时空特征。该方法在在线抓取香蕉等不规则水果时实现了84%的成功率，优于CNN+LSTM基线模型，并通过大规模水果数据集的预训练展示了强大的零样本泛化能力。

ABSTRACT

Reliable robotic grasping, especially with deformable objects such as fruits, remains a challenging task due to underactuated contact interactions with a gripper, unknown object dynamics and geometries. In this study, we propose a Transformer-based robotic grasping framework for rigid grippers that leverage tactile and visual information for safe object grasping. Specifically, the Transformer models learn physical feature embeddings with sensor feedback through performing two pre-defined explorative actions (pinching and sliding) and predict a grasping outcome through a multilayer perceptron (MLP) with a given grasping strength. Using these predictions, the gripper predicts a safe grasping strength via inference. Compared with convolutional recurrent networks, the Transformer models can capture the long-term dependencies across the image sequences and process spatial-temporal features simultaneously. We first benchmark the Transformer models on a public dataset for slip detection. Following that, we show that the Transformer models outperform a CNN+LSTM model in terms of grasping accuracy and computational efficiency. We also collect a new fruit grasping dataset and conduct online grasping experiments using the proposed framework for both seen and unseen fruits. {In addition, we extend our model to objects with different shapes and demonstrate the effectiveness of our pre-trained model trained on our large-scale fruit dataset. Our codes and dataset are public on GitHub.

研究动机与目标

• 为解决柔性、形状不规则物体（如水果）的安全有效抓取挑战，其中必须精确控制接触力以防止滑脱或损伤。
• 有效整合视觉与触觉传感模态，实现实时抓取结果预测与力优化。
• 开发一种可泛化的抓取策略，实现跨不同水果类型的迁移，包括未见过的和形状不规则的物体。
• 利用Transformer中的自注意力机制建模图像序列中的长程依赖关系，提升对循环或卷积模型的鲁棒性。
• 通过在真实机器人硬件上使用新构建的水果抓取数据集进行在线抓取实验，验证该框架。

提出的方法

• 该框架采用两种先进的Transformer架构——TimeSformer和ViViT，联合编码在预定义探索性动作（捏取和滑动）期间收集的视觉（RGB）和触觉（GelSight）图像序列。
• 从两种模态中提取时空特征，并通过学习的注意力机制融合为共享的物理特征嵌入。
• 通过多层感知机（MLP）基于融合嵌入和给定的抓取力阈值，预测抓取结果（安全、易滑脱或损伤）。
• 通过在线推理在离散力阈值（3–12）范围内搜索，确定最优抓取力。
• 通过独立的MLP头对抓取的水果类型进行分类，实现任务级控制。
• 模型在大规模水果数据集上进行预训练，并在较小的、未见的水果类型上进行微调，以实现零样本泛化。

实验结果

研究问题

• RQ1 视觉-触觉Transformer框架是否能在预测柔性物体安全抓取力方面优于CNN+LSTM模型？
• RQ2 在大规模预训练的Transformer模型对未见的、形状不规则的水果（如香蕉）的泛化能力如何？
• RQ3 时空注意力机制在抓取过程中聚焦于相关接触区域的有效性如何？
• RQ4 在多样化水果数据集上进行预训练是否能提升在小规模新数据集上的微调性能？
• RQ5 该框架是否能在真实机器人硬件上实现高成功率的在线抓取实验？

主要发现

• 所提出的框架在香蕉的在线抓取中实现了84%的成功率，显著优于基线模型（52%）和未进行预训练的微调模型（76%）。
• 在公开数据集上的滑脱检测中，TimeSformer和ViViT分别优于CNN+LSTM基线模型3.1%和2.0%，显示出更高的准确率和计算效率。
• 在小规模香蕉数据集上，预训练模型使微调准确率提高了10%，减少了训练振荡并增强了收敛稳定性。
• 注意力可视化显示，即使在高度不规则的水果（如香蕉）上，模型也能持续聚焦于视觉和触觉模态中的局部接触区域。
• 该框架展现出强大的零样本泛化能力：当在新水果类型上进行微调时，使用预训练模型可实现75%的训练准确率，而未使用预训练的模型准确率则下降10%。
• 模型对视觉图像质量的鲁棒性高于对触觉图像质量的鲁棒性，表明需要改进触觉数据增强或噪声鲁棒性。