[论文解读] iCaps: Iterative Category-level Object Pose and Shape Estimation

Xinke Deng, Junyi Geng+3 more|arXiv (Cornell University)|Dec 31, 2021

Human Pose and Action Recognition被引用 4

一句话总结

iCaps 提出了一种类别级6D物体位姿与形状估计框架，通过基于深度图像的自编码器和潜在SDF形状网络，结合Rao-Blackwellized粒子滤波，迭代优化位姿与形状。该方法仅需2D检测与分割进行初始化，即可在位姿与形状估计方面实现高精度，其形状重建质量与效率均优于先前方法。

ABSTRACT

This paper proposes a category-level 6D object pose and shape estimation approach iCaps, which allows tracking 6D poses of unseen objects in a category and estimating their 3D shapes. We develop a category-level auto-encoder network using depth images as input, where feature embeddings from the auto-encoder encode poses of objects in a category. The auto-encoder can be used in a particle filter framework to estimate and track 6D poses of objects in a category. By exploiting an implicit shape representation based on signed distance functions, we build a LatentNet to estimate a latent representation of the 3D shape given the estimated pose of an object. Then the estimated pose and shape can be used to update each other in an iterative way. Our category-level 6D object pose and shape estimation pipeline only requires 2D detection and segmentation for initialization. We evaluate our approach on a publicly available dataset and demonstrate its effectiveness. In particular, our method achieves comparably high accuracy on shape estimation.

研究动机与目标

• 解决在缺乏3D CAD模型的情况下，高类别内形状可变性下的类别级6D物体位姿估计挑战。
• 通过隐式形状表示，联合估计并迭代优化物体位姿与3D形状。
• 通过从深度图像中学习与实例无关的位姿嵌入，降低对昂贵3D CAD先验的依赖。
• 通过利用时间一致性与位姿和形状之间的迭代优化，提升估计精度。
• 实现高效推理，仅需最少初始化信息，即2D检测与实例分割掩码。

提出的方法

• 类别级自编码器网络处理深度图像，生成编码物体位姿的与实例无关的特征嵌入。
• Rao-Blackwellized粒子滤波利用这些嵌入，在视频帧之间估计并跟踪6D物体位姿。
• LatentNet 使用连续符号距离函数（SDF）预测潜在形状表示，以隐式方式建模物体几何。
• 位姿与形状通过迭代方式不断优化：估计的形状提升位姿估计精度，而改进的位姿则增强形状重建质量。
• 系统通过2D物体检测与实例分割掩码进行初始化，避免对真实位姿或CAD模型的依赖。
• 优化过程按周期（如每10帧）或逐帧迭代执行，以在速度与精度之间取得平衡。

Figure 1: The proposed system takes in depth maps and segmentation masks as inputs, and jointly estimates the 6D poses, size, and shape of the unseen objects in an iterative way so that pose and shape can improve each other.

实验结果

研究问题

• RQ1 类别级6D物体位姿估计系统是否能在无需3D CAD模型或真实位姿初始化的情况下实现高精度？
• RQ2 位姿与形状估计之间的迭代优化在提升两者精度方面的有效性如何？
• RQ3 基于隐式SDF的形状表示是否能仅从深度图像实现高质量且高效的3D形状重建？
• RQ4 在变化优化频率与粒子数量时，推理速度与估计精度之间的权衡如何？
• RQ5 在类别级设置下，所提出方法与最先进方法在形状重建与位姿估计方面的表现如何比较？

主要发现

• 所提方法在5°5cm IoU指标下达到31.59%，显著优于无优化基线方法（18.50%）与无LatentNet方法（17.95%）。
• 形状重建的Chamfer距离比CASS与Shape-Prior低一个数量级，表明形状质量更优。
• LatentNet对瓶子类别的推理仅需0.017秒，远低于DeepSDF的5.20秒，展现出极高效率。
• 系统在无优化时运行速度为12.22 fps，全迭代优化时为2.26 fps，有效平衡了速度与精度。
• 消融实验表明，位姿优化与通过LatentNet进行形状预测均不可或缺，任一移除均导致性能显著下降。
• 每帧执行多步迭代优化可提升精度，性能在每帧均进行优化时达到峰值。

Figure 2: Architecture the proposed category-level pose and shape estimation framework. We first use a category-level generalization of the PoseRBPF system to estimate the 6D pose and the size of the object. An implicit shape representation (shape latent) is predicted with a deep neural network (Lat