[论文解读] Deep Gated Multi-modal Learning: In-hand Object Pose Changes Estimation using Tactile and Image Data

Tomoki Anzai, Kuniyuki Takahashi|arXiv (Cornell University)|Sep 27, 2019

Robot Manipulation and Learning参考文献 38被引用 6

一句话总结

本文提出深度门控多模态学习（DGML），一种端到端深度学习框架，通过自适应确定各模态的可靠性，利用RGB图像和GelSight触觉数据动态估计物体在手姿态变化。该方法在遮挡、噪声和传感器故障条件下均能实现鲁棒的姿态估计，无需依赖3D物体模型，并通过可学习门控机制实现自适应模态加权，从而在未知物体上实现更好的泛化性能。

ABSTRACT

For in-hand manipulation, estimation of the object pose inside the hand is one of the important functions to manipulate objects to the target pose. Since in-hand manipulation tends to cause occlusions by the hand or the object itself, image information only is not sufficient for in-hand object pose estimation. Multiple modalities can be used in this case, the advantage is that other modalities can compensate for occlusion, noise, and sensor malfunctions. Even though deciding the utilization rate of a modality (referred to as reliability value) corresponding to the situations is important, the manual design of such models is difficult, especially for various situations. In this paper, we propose deep gated multi-modal learning, which self-determines the reliability value of each modality through end-to-end deep learning. For the experiments, an RGB camera and a GelSight tactile sensor were attached to the parallel gripper of the Sawyer robot, and the object pose changes were estimated during grasping. A total of 15 objects were used in the experiments. In the proposed model, the reliability values of the modalities were determined according to the noise level and failure of each modality, and it was confirmed that the pose change was estimated even for unknown objects.

研究动机与目标

• 解决机器人操作中在遮挡、噪声和传感器故障条件下进行在手物体姿态估计的挑战。
• 消除对人工设计的多模态传感器融合可靠性模型的依赖。
• 在无需事先提供3D模型的前提下，实现对已知与未知物体的准确姿态变化估计。
• 开发一种动态的端到端学习框架，根据输入质量与环境条件自动调整各模态的贡献度。

提出的方法

• 该方法使用深度神经网络，处理安装在Sawyer机械臂夹爪上的GelSight传感器所获取的连续RGB图像与触觉数据。
• 引入可学习的门控机制（α 和 β），分别输出图像与触觉模态的可靠性值，实现动态模态加权。
• 网络端到端训练，用于预测相对于初始抓握姿态的时间序列物体姿态变化（平移与旋转）。
• 门控值在训练过程中学习获得，反映网络基于输入质量（如噪声或遮挡）对各模态可靠性判断的信心程度。
• 通过加权求和的方式融合模态特异性特征，门控值决定各模态的贡献权重。
• 该方法无需3D物体模型，从而实现对未见物体的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在在手物体姿态估计过程中，动态且自动地确定图像与触觉模态的可靠性？
• RQ2 该方法在不同噪声水平、传感器故障与遮挡条件下的表现如何？
• RQ3 在缺乏先前3D模型信息的情况下，模型对未知物体的泛化能力达到何种程度？
• RQ4 所学习的可靠性值与实际传感器质量以及物体形状、尺寸等特征之间是否存在相关性？

主要发现

• 网络成功学习到在触觉输入受噪声污染时提升图像可靠性（α），表明其能正确识别模态质量下降。
• 对于许多物体，触觉数据的可靠性高于图像数据，尤其在具有复杂形状或表面特征的物体上，多数情况下α值低于0.5。
• 表面不规则性高的物体（如胶带、扳手、水杯）表现出较低的图像可靠性（α < 0.2），表明网络更依赖触觉特征。
• 因自遮挡或相机视野部分丢失而影响图像质量的大尺寸物体，其图像可靠性降低，网络因此更倾向于依赖触觉输入。
• 该方法在未知物体上实现了鲁棒的姿态估计，证实了无需3D模型依赖的泛化能力。
• 可靠性门控值提供了对网络行为的可解释性洞察，显示出对传感器退化与物体特定挑战的一致响应。