[论文解读] Learning a Disentangled Embedding for Monocular 3D Shape Retrieval and Pose Estimation

Kyaw Zaw Lin, Weipeng Xu+3 more|arXiv (Cornell University)|Dec 24, 2018

3D Shape Modeling and Analysis参考文献 41被引用 8

一句话总结

该论文提出了一种解耦嵌入网络，通过从3D占用网格中学习独立且不变的形状与姿态向量，联合实现单目3D形状检索与6D姿态估计。该方法在Pascal3D+数据集上实现了SOTA性能，形状检索的top-1准确率为0.592，姿态估计的中位数误差为10.3°，通过显式解耦形状与姿态表征，减少了偏差并提升了泛化能力。

ABSTRACT

We propose a novel approach to jointly perform 3D shape retrieval and pose estimation from monocular images.In order to make the method robust to real-world image variations, e.g. complex textures and backgrounds, we learn an embedding space from 3D data that only includes the relevant information, namely the shape and pose. Our approach explicitly disentangles a shape vector and a pose vector, which alleviates both pose bias for 3D shape retrieval and categorical bias for pose estimation. We then train a CNN to map the images to this embedding space, and then retrieve the closest 3D shape from the database and estimate the 6D pose of the object. Our method achieves 10.3 median error for pose estimation and 0.592 top-1-accuracy for category agnostic 3D object retrieval on the Pascal3D+ dataset, outperforming the previous state-of-the-art methods on both tasks.

研究动机与目标

• 解决使用单目图像进行3D形状检索时的姿态变化问题，以及姿态估计中的类别偏差问题。
• 通过从3D数据而非渲染图像中学习，减少真实图像与合成训练数据之间的域差距。
• 通过在共享嵌入空间中显式解耦形状与姿态表征，提升泛化能力。
• 利用单一、类别无关的网络实现联合3D形状检索与6D姿态估计。
• 消除训练过程中对CAD模型进行大量多视角姿态变化渲染的需求。

提出的方法

• 在不同姿态下物体的3D占用网格上训练CNN，学习一个具有独立形状向量与姿态向量的解耦嵌入空间。
• 使用对比损失强制实现解耦，确保形状向量对姿态不变，姿态向量对形状不变。
• 训练第二个CNN，将图像特征回归到解耦的形状与姿态嵌入空间中。
• 基于6D旋转表示，采用混合分类-回归策略，以提高姿态估计的准确性。
• 通过随机姿态增强3D体素，以在线方式生成训练样本，避免预先渲染所有姿态变化。
• 通过在形状嵌入空间中寻找最近邻实现检索，并直接从姿态向量中估计姿态。

实验结果

研究问题

• RQ1 解耦的形状与姿态嵌入空间是否能提升对姿态变化的3D形状检索鲁棒性？
• RQ2 通过解耦实现形状与姿态的联合学习，是否能减少姿态估计中的类别偏差？
• RQ3 从3D占用网格而非渲染图像中学习，是否能缓解真实数据与合成数据之间的域偏移？
• RQ4 单一类别无关的网络是否能在3D检索与姿态估计中均实现SOTA性能？
• RQ5 该方法在遮挡、截断或小物体等挑战性情况下的泛化能力如何？

主要发现

• 该方法在类别无关的3D形状检索中达到0.592的top-1准确率，优于以往SOTA方法。
• 中位数姿态误差为10.3°，在Pascal3D+数据集上显著优于先前方法。
• 性能在截断和遮挡物体上下降最明显，top-1准确率分别降至0.464和0.498。
• 船类别的姿态估计误差最高，超过40%的误差超过140°，可能源于前后方向的模糊性。
• 失败案例主要由小尺寸、模糊或模糊的物体，以及数据集中存在的标注模糊性导致。
• 解耦表征使模型在无需多视角渲染或类别特定子网络的情况下仍能保持鲁棒性能。