[论文解读] NeMo: Neural Mesh Models of Contrastive Features for Robust 3D Pose Estimation

Angtian Wang, Adam Kortylewski+1 more|arXiv (Cornell University)|Jan 29, 2021

3D Shape Modeling and Analysis参考文献 37被引用 14

一句话总结

NeMo 提出了一种神经网格模型，通过在 3D 网格上重建对比神经特征图来生成 3D 物体位姿，利用可微渲染和对比学习实现对部分遮挡和未见视角的鲁棒性。在 PASCAL3D+ 和 ObjectNet3D 上，即使使用粗略的长方体几何结构，NeMo 的性能也优于标准深度神经网络，表明详细 3D 形状并非实现高精度 3D 位姿估计的必要条件。

ABSTRACT

3D pose estimation is a challenging but important task in computer vision. In this work, we show that standard deep learning approaches to 3D pose estimation are not robust when objects are partially occluded or viewed from a previously unseen pose. Inspired by the robustness of generative vision models to partial occlusion, we propose to integrate deep neural networks with 3D generative representations of objects into a unified neural architecture that we term NeMo. In particular, NeMo learns a generative model of neural feature activations at each vertex on a dense 3D mesh. Using differentiable rendering we estimate the 3D object pose by minimizing the reconstruction error between NeMo and the feature representation of the target image. To avoid local optima in the reconstruction loss, we train the feature extractor to maximize the distance between the individual feature representations on the mesh using contrastive learning. Our extensive experiments on PASCAL3D+, occluded-PASCAL3D+ and ObjectNet3D show that NeMo is much more robust to partial occlusion and unseen pose compared to standard deep networks, while retaining competitive performance on regular data. Interestingly, our experiments also show that NeMo performs reasonably well even when the mesh representation only crudely approximates the true object geometry with a cuboid, hence revealing that the detailed 3D geometry is not needed for accurate 3D pose estimation. The code is publicly available at https://github.com/Angtian/NeMo.

研究动机与目标

• 解决标准深度学习方法在部分遮挡和未见位姿条件下 3D 位姿估计缺乏鲁棒性的问题。
• 开发一种生成式神经网格模型，在 3D 网格上学习对无关视觉变化（如颜色和形状）不变的特征表示，实现位姿与无关变化的解耦。
• 即使几何结构被粗略近似为长方体，也能通过单一原型网格实现鲁棒的 3D 位姿估计。
• 通过对比学习减少对实例特定网格模型的依赖，从而在不同物体部件之间生成独特且具有判别性的特征。

提出的方法

• NeMo 使用原型 3D 网格（例如长方体）作为物体类别的几何先验。
• 它利用 CNN 主干网络和可微渲染，在每个网格顶点上学习神经激活的生成模型。
• 应用对比学习以最大化物体部件与背景之间的特征距离，从而增强对干扰性变化的不变性。
• 推理阶段，NeMo 通过最小化渲染特征图与从输入图像中提取的特征之间的重建损失来估计 3D 位姿。
• 优化过程使用来自多个随机初始位姿种子的梯度优化，以避免陷入局部极小值。
• 该方法通过端到端训练，采用对比损失，鼓励不同物体部件与背景之间特征的区分性。

实验结果

研究问题

• RQ1 在对比特征上训练的神经网格模型是否能在部分遮挡条件下实现鲁棒的 3D 位姿估计？
• RQ2 使用粗略几何近似（如长方体）代替详细 CAD 网格是否会导致 3D 位姿估计性能下降？
• RQ3 NeMo 在训练数据中未出现的未见视角下表现如何？
• RQ4 对比学习在多大程度上提升了 3D 位姿估计中特征的区分性和鲁棒性？
• RQ5 NeMo 是否能在不依赖实例特定 3D 网格的情况下实现具有竞争力的性能？

主要发现

• 在 PASCAL3D+ 上，NeMo 在完全可见条件下（L0）达到 π/6 阈值下 86.7% 的准确率，优于标准基线模型。
• 在严重遮挡条件下（L3），NeMo 在 π/6 阈值下仍保持 47.1% 的准确率，显著优于基线模型（低于 20%），表现出更强的鲁棒性。
• 在未见视角（侧视）下，NeMo 在 π/6 阈值下达到 63.2% 的准确率，与可见视角下的表现相当，证明其具备出色的泛化能力。
• 消融实验表明，若移除对比学习，准确率降至 π/6 阈值下的 69.7%，凸显其在特征区分性中的关键作用。
• 即使使用长方体网格，NeMo 仍能达到 π/6 阈值下 86.7% 的准确率，表明详细几何结构并非必要。
• 仅使用 6 个随机位姿初始值，NeMo 在 π/6 阈值下达到 80.4% 的准确率，表明其对初始化具有鲁棒性，且损失函数景观平滑。