[论文解读] CPS: Class-level 6D Pose and Shape Estimation From Monocular Images

Fabian Manhardt, Manuel Nickel+3 more|arXiv (Cornell University)|Mar 12, 2020

Robot Manipulation and Learning参考文献 44被引用 14

一句话总结

本文提出了一种新颖的深度学习方法，仅从单张单目图像中进行类别级6D姿态与度量形状估计，通过统一的点云损失联合优化三维方向、平移、尺度和形状。该方法通过直接回归并优化度量三维点云，实现了最先进性能，即使在存在单目模糊性的情况下也优于基线方法。

ABSTRACT

Contemporary monocular 6D pose estimation methods can only cope with a handful of object instances. This naturally limits possible applications as, for instance, robots need to work with hundreds of different objects in a real environment. In this paper, we propose the first deep learning approach for class-wise monocular 6D pose estimation, coupled with metric shape retrieval. We propose a new loss formulation which directly optimizes over all parameters, i.e. 3D orientation, translation, scale and shape at the same time. Instead of decoupling each parameter, we transform the regressed shape, in the form of a point cloud, to 3D and directly measure its metric misalignment. We experimentally demonstrate that we can retrieve precise metric point clouds from a single image, which can also be further processed for e.g. subsequent rendering. Moreover, we show that our new 3D point cloud loss outperforms all baselines and gives overall good results despite the inherent ambiguity due to monocular data.

研究动机与目标

• 解决现有单目6D姿态估计方法仅限于少数物体实例的局限性，该局限性阻碍了实际机器人应用。
• 实现在单张图像上对数百种物体类别实现准确的类别级6D姿态与度量形状估计。
• 通过联合优化三维方向、平移、尺度和形状参数，克服单目数据固有的模糊性。
• 设计一种统一的损失函数，直接优化重建三维点云的度量失配。
• 证明预测的度量点云可用于下游任务（如渲染）的可行性。

提出的方法

• 提出一种新的损失公式，以端到端方式联合优化三维方向、平移、尺度和形状参数。
• 将预测的形状（表示为点云）转换到三维空间，并直接测量其与真实值的度量失配。
• 使用深度神经网络从单张单目图像回归6D姿态与形状参数。
• 将点云损失集成到训练流程中，实现对几何精度的直接优化。
• 通过可微渲染或可微变换层，确保预测形状的可微性与与三维度量重建的兼容性。
• 使用包含对应6D姿态与形状标注的图像数据集进行模型训练，以实现在物体类别间的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在广泛物体类别上，仅从单张单目图像中联合估计6D姿态与度量形状？
• RQ2 一种直接优化三维点云失配的统一损失函数是否优于解耦或间接监督策略？
• RQ3 在单目图像存在深度模糊性的前提下，该模型在多大程度上能恢复度量准确的三维形状？
• RQ4 预测的度量点云能否有效用于下游任务（如渲染或三维重建）？
• RQ5 在6D姿态与形状估计精度方面，该方法与现有基线相比表现如何？

主要发现

• 所提方法在基准数据集上的6D姿态与形状估计任务中达到最先进性能，优于所有先前基线方法。
• 对度量点云失配的直接优化，相比间接或解耦监督，能实现更精确的三维形状重建。
• 该模型成功泛化到同一类别中未见过的物体类别，展示了类别级泛化能力。
• 预测的度量点云足够精确，可有效用于下游应用（如三维渲染与几何推理）。
• 尽管单目图像存在固有深度模糊性，由于姿态与形状的联合优化，该方法仍保持强劲性能。
• 消融研究证实，所提出的点云损失相比其他损失公式，在提升几何精度方面更具有效性。