[论文解读] 6D Pose Estimation with Correlation Fusion

Yi Cheng, Hongyuan Zhu+7 more|arXiv (Cornell University)|Sep 24, 2019

Robot Manipulation and Learning参考文献 33被引用 8

一句话总结

本文提出了一种新颖的关联融合（Correlation Fusion, CF）框架，用于使用RGB-D数据进行6D物体位姿估计，通过自注意力机制建模模态内与模态间相关性，以学习具有区分性的多模态特征。该方法在LineMOD和YCB-Video基准上实现了最先进性能，并实现了机器人抓取任务中的实时、高精度位姿估计。

ABSTRACT

6D object pose estimation is widely applied in robotic tasks such as grasping and manipulation. Prior methods using RGB-only images are vulnerable to heavy occlusion and poor illumination, so it is important to complement them with depth information. However, existing methods using RGB-D data cannot adequately exploit consistent and complementary information between RGB and depth modalities. In this paper, we present a novel method to effectively consider the correlation within and across both modalities with attention mechanism to learn discriminative and compact multi-modal features. Then, effective fusion strategies for intra- and inter-correlation modules are explored to ensure efficient information flow between RGB and depth. To our best knowledge, this is the first work to explore effective intra- and inter-modality fusion in 6D pose estimation. The experimental results show that our method can achieve the state-of-the-art performance on LineMOD and YCB-Video dataset. We also demonstrate that the proposed method can benefit a real-world robot grasping task by providing accurate object pose estimation.

研究动机与目标

• 解决仅使用RGB图像以及现有RGB-D方法在处理遮挡、光照不足和对称物体模糊性方面的局限性。
• 通过有效利用RGB与深度模态之间的一致性和互补性特征，提升6D位姿估计性能。
• 设计一个统一的深度学习框架，通过相关性建模融合多模态特征，以增强特征的区分性表示。
• 在保持高精度的同时实现实时推理速度，适用于机器人操作任务的部署。
• 在无需额外微调的情况下，验证该方法在真实世界机器人抓取场景中的实际应用价值。

提出的方法

• 引入模态内相关性建模（Intra-modality Correlation Modeling, IntraMCM），利用自注意力机制学习每个模态内部的显著特征。
• 提出模态间相关性建模（Inter-modality Correlation Modeling, InterMCM），通过交叉注意力机制捕捉RGB与深度模态之间的互补特征。
• 设计多种融合策略，用于模态内与模态间相关性特征的融合，以确保高效且有效的信息流动。
• 实现一个端到端深度神经网络，联合优化特征学习与位姿回归，支持实时推理。
• 引入精炼头（refiner head）利用深度信息对粗略预测进行优化，提升最终位姿估计的精度。
• 使用标准的6D位姿损失函数进行模型训练，并通过反向传播在标注的RGB-D数据集上进行优化。

实验结果

研究问题

• RQ1 模态内相关性建模是否能提升单个RGB与深度模态内部的特征表示能力，以支持6D位姿估计？
• RQ2 模态间相关性建模是否能有效捕捉RGB与深度模态之间的互补特征，从而提升位姿估计精度？
• RQ3 不同模态内与模态间相关性特征的融合策略对整体性能与推理效率有何影响？
• RQ4 所提出的关联融合框架是否能在LineMOD与YCB-Video等标准基准上超越现有RGB-D方法？
• RQ5 该方法在通过高精度6D位姿估计提升真实世界机器人抓取成功率方面，其提升程度如何？

主要发现

• 在YCB-Video数据集上，该方法实现了最先进性能，相较于PoseCNN与DenseFusion，在ADD(-S) <2cm指标上分别提升了13.21%与4.71%。
• 在LineMOD数据集上，该方法在对比方法中表现最佳，展现出对遮挡与对称性更强的鲁棒性。
• 完整模型在单张NVIDIA GTX 2080 Ti GPU上运行速度约为20 FPS（每次推理49.8ms），支持实时部署。
• 在仿真环境中，该方法对番茄汤罐头的抓取成功率达到90.0%，优于DenseFusion的80.0%，且在所有测试物体上均表现出一致的性能提升。
• 在真实世界机器人抓取任务中，该模型在未对真实数据进行额外微调的情况下仍实现了高成功率，验证了其泛化能力与鲁棒性。
• 定性结果表明，在严重遮挡与对称物体上，该方法相比DenseFusion有显著改进，但对高度对称且严重遮挡的物体仍存在挑战。