[论文解读] KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects

Xingyu Liu, Rico Jonschkowski+2 more|arXiv (Cornell University)|Dec 5, 2019

Robot Manipulation and Learning参考文献 36被引用 7

一句话总结

KeyPose 提出了一种基于立体视觉的深度学习方法，用于在不依赖深度传感器的情况下估计透明物体的3D关键点与位姿。通过引入一种新颖的数据采集与标注流程，该方法构建了包含48,000张立体图像和RGBD图像的透明物体数据集（TOD），并证明KeyPose在性能上优于当前最先进方法1.5至3.5倍，甚至超越了使用真实深度信息的模型，其优势源于立体输入的早期融合以及多视角重投影损失的使用。

ABSTRACT

Estimating the 3D pose of desktop objects is crucial for applications such as robotic manipulation. Many existing approaches to this problem require a depth map of the object for both training and prediction, which restricts them to opaque, lambertian objects that produce good returns in an RGBD sensor. In this paper we forgo using a depth sensor in favor of raw stereo input. We address two problems: first, we establish an easy method for capturing and labeling 3D keypoints on desktop objects with an RGB camera; and second, we develop a deep neural network, called $KeyPose$, that learns to accurately predict object poses using 3D keypoints, from stereo input, and works even for transparent objects. To evaluate the performance of our method, we create a dataset of 15 clear objects in five classes, with 48K 3D-keypoint labeled images. We train both instance and category models, and show generalization to new textures, poses, and objects. KeyPose surpasses state-of-the-art performance in 3D pose estimation on this dataset by factors of 1.5 to 3.5, even in cases where the competing method is provided with ground-truth depth. Stereo input is essential for this performance as it improves results compared to using monocular input by a factor of 2. We will release a public version of the data capture and labeling pipeline, the transparent object database, and the KeyPose models and evaluation code. Project website: https://sites.google.com/corp/view/keypose.

研究动机与目标

• 解决当前缺乏大规模、真实世界中基于立体RGB输入的透明物体3D位姿估计数据集的问题。
• 开发一种实用的、无需深度信息的标注方法，利用机械臂扫描流程对透明与不透明物体的3D关键点进行标注。
• 构建一个深度神经网络模型KeyPose，仅通过立体RGB输入预测3D物体位姿，实现在透明物体上的最先进性能。
• 实现对未见过的纹理、位姿和物体实例的良好泛化能力，而无需依赖真实深度信息或CAD模型。
• 证明立体输入在性能上显著优于单目输入，即使对比方法使用了真实深度信息。

提出的方法

• 使用机械臂采集透明物体及其不透明对应物的多视角立体RGB与RGBD图像序列，实现相机位姿的精确对齐。
• 应用AprilTags与PnP（Perspective-n-Point）算法估计帧间全局相机位姿，从而实现物体几何结构的精确3D重建。
• 通过相机位姿的最远点采样（FPS）选择关键帧，并在这些帧中手动标注2D关键点位置。
• 利用已知的相机位姿和物体几何结构，将2D关键点标注反投影至3D空间，随后将3D关键点位置传播至所有帧。
• 使用立体图像对的早期融合策略，训练一个深度神经网络KeyPose，直接从RGB输入预测3D关键点坐标。
• 通过结合3D关键点回归损失、UV重投影损失、视差损失以及排列不变损失来优化KeyPose，以处理对称关键点问题。

实验结果

研究问题

• RQ1 能否开发一种实用的、无需深度信息的标注流程，仅通过立体RGB图像与机械臂位姿估计，实现对透明物体3D关键点的标注？
• RQ2 仅使用立体RGB输入训练的深度学习模型，是否能在透明物体3D位姿估计任务上超越使用真实深度信息的最先进方法？
• RQ3 在3D关键点精度与对深度误差的鲁棒性方面，立体图像的早期融合与晚期融合相比有何差异？
• RQ4 该模型在未见过的纹理、位姿与透明物体实例上，其泛化能力如何，且是否无需微调即可实现？
• RQ5 多视角重投影损失与排列不变监督对对称关键点配置的性能影响如何？

主要发现

• KeyPose在实例级位姿估计中实现了12.8 mm的3D平均绝对误差（MAE），在类别级估计中为26.4 mm，性能优于最先进方法1.5至3.5倍。
• 该模型甚至在相同数据集上超越了基于深度的最先进方法（如DenseFusion），表明在具有挑战性的透明物体场景中，立体RGB可优于真实深度信息。
• 与单目输入相比，立体输入使性能提升2倍，凸显了双目线索在深度估计中的重要性。
• 消融实验表明，立体图像的早期融合显著优于晚期融合，早期融合的视差MAE为1.46 px，而晚期融合为1.05 px。
• 投影损失（视差损失）在类别级情况下将视差误差降低了0.41 px，根据立体几何关系，这相当于在0.8 m距离处减少5.5 mm的深度误差。
• 排列不变损失有效防止了对称关键点的混淆，减少了对称关键点的聚集现象，并提升了如树模型等对称物体的估计精度。