[论文解读] Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction

David Novotný, Роман Шаповалов+1 more|arXiv (Cornell University)|Aug 28, 2020

Advanced Vision and Imaging参考文献 72被引用 4

一句话总结

本文提出了规范3D变形图（C3DM），一种新颖的3D形状表征方法，通过统一参数化与非参数化方法，实现从2D图像进行密集、弱监督的类别级重建。通过为每个像素学习一个规范嵌入，使其与变形算子关联，C3DM 实现了高精度的单视角3D重建，并生成密集对应关系，在仅使用稀疏2D监督的情况下，于人脸、鸟类和汽车类别上达到最先进性能。

ABSTRACT

We propose the Canonical 3D Deformer Map, a new representation of the 3D shape of common object categories that can be learned from a collection of 2D images of independent objects. Our method builds in a novel way on concepts from parametric deformation models, non-parametric 3D reconstruction, and canonical embeddings, combining their individual advantages. In particular, it learns to associate each image pixel with a deformation model of the corresponding 3D object point which is canonical, i.e. intrinsic to the identity of the point and shared across objects of the category. The result is a method that, given only sparse 2D supervision at training time, can, at test time, reconstruct the 3D shape and texture of objects from single views, while establishing meaningful dense correspondences between object instances. It also achieves state-of-the-art results in dense 3D reconstruction on public in-the-wild datasets of faces, cars, and birds.

研究动机与目标

• 解决从单张2D图像重建物体类别3D形状而无3D真实标签的挑战。
• 通过引入保持密集对应关系的规范嵌入，统一参数化变形模型与非参数化深度估计。
• 仅在训练阶段使用稀疏2D监督，实现密集的类别级3D重建。
• 在保持物体实例间几何一致性的前提下，从单视角实现逼真3D形状与纹理重建。

提出的方法

• C3DM 为每个图像像素 y 学习一个规范嵌入 Φy(I) = κ，将其映射到对应3D物体点的内在坐标 κ。
• 它使用变形算子 Bκ(α) 将3D点 Xy 表示为规范坐标 κ 与全局变形参数 α 的函数。
• 该方法结合非参数化的规范映射与参数化的变形模型，实现物体实例间的共享表征。
• 神经网络学习从规范坐标到变形算子的映射，实现灵活且可微的3D重建。
• 通过包含重投影、感知、嵌入对齐、掩码和纹理损失的多组件损失函数进行训练，以确保几何与外观保真度。
• 通过规范嵌入 Φy(IB) 将源图像 IA 的外观描述符 β(IA) 传输到目标图像 IB，支持纹理迁移。

实验结果

研究问题

• RQ1 能否在弱监督下学习一种统一表征，结合参数化与非参数化3D重建的优势？
• RQ2 在缺乏3D真实标签的情况下，如何在物体实例间建立密集对应关系？
• RQ3 规范嵌入能否在仅使用稀疏2D监督的情况下实现从单张2D图像的高精度3D重建？
• RQ4 C3DM 在具有不同运动结构与外观的多样化物体类别（如人脸、鸟类和汽车）上，其泛化能力如何？

主要发现

• C3DM 在人脸、鸟类和汽车的公开野外数据集上，实现了密集3D重建的最先进性能。
• 该方法即使在遮挡和分割错误情况下，也能生成具有准确几何与纹理的逼真3D重建结果。
• 它在物体实例间建立了有意义的密集对应关系，实现了在姿态与外观变化下的稳定3D形状建模。
• 该框架对实例级变化具有鲁棒性，并在纹理迁移过程中保持了几何一致性，如定性结果所示。
• 在所有评估类别上，C3DM 在3D重建精度与视觉真实感方面均优于最先进方法CMR。
• 规范嵌入的使用实现了外观的有效迁移，同时保留了目标物体的3D几何结构，纹理迁移实验已验证此效果。