[论文解读] Few-View Object Reconstruction with Unknown Categories and Camera Poses

Hanwen Jiang, Zhenyu Jiang+2 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Vision and Imaging被引用 5

一句话总结

FORGE 通过联合优化形状重建与相对相机位姿估计，在无需已知对象类别或相机位姿先验知识的情况下，实现了从未标定图像中进行少视角 3D 物体重建。它利用 3D 特征学习、跨视角一致性以及显式的 3D 相关性，在重建与位姿估计任务上均达到当前最先进性能，并在极少监督下有效泛化至新对象类别。

ABSTRACT

While object reconstruction has made great strides in recent years, current methods typically require densely captured images and/or known camera poses, and generalize poorly to novel object categories. To step toward object reconstruction in the wild, this work explores reconstructing general real-world objects from a few images without known camera poses or object categories. The crux of our work is solving two fundamental 3D vision problems -- shape reconstruction and pose estimation -- in a unified approach. Our approach captures the synergies of these two problems: reliable camera pose estimation gives rise to accurate shape reconstruction, and the accurate reconstruction, in turn, induces robust correspondence between different views and facilitates pose estimation. Our method FORGE predicts 3D features from each view and leverages them in conjunction with the input images to establish cross-view correspondence for estimating relative camera poses. The 3D features are then transformed by the estimated poses into a shared space and are fused into a neural radiance field. The reconstruction results are rendered by volume rendering techniques, enabling us to train the model without 3D shape ground-truth. Our experiments show that FORGE reliably reconstructs objects from five views. Our pose estimation method outperforms existing ones by a large margin. The reconstruction results under predicted poses are comparable to the ones using ground-truth poses. The performance on novel testing categories matches the results on categories seen during training. Project page: https://ut-austin-rpl.github.io/FORGE/

研究动机与目标

• 在对象类别与相机位姿未知的真实世界场景中实现少视角 3D 物体重建。
• 克服现有方法依赖密集图像、已知位姿或类别特定监督的局限性。
• 开发一个统一框架，协同提升 3D 重建与相对相机位姿估计性能。
• 在测试时有效泛化至训练期间未见的新对象类别。
• 通过可微体渲染的图像重建损失进行端到端训练，无需 3D 形状真实值监督。

提出的方法

• FORGE 使用经过跨视角一致性损失训练的体素编码器，将每张输入图像编码为 3D 体素特征，以确保跨视角的特征一致性。
• 它利用结合 2D 图像特征与 3D 体素特征的全局位姿特征提取器，建立显式的 3D 跨视角相关性，从而估计所有输入视角之间的相对相机位姿。
• 相对位姿估计器采用自注意力模块，对所有视角进行联合推理，减少成对估计带来的误差累积。
• 通过预测的相对位姿将 3D 特征变换至共享重建空间，并通过特征聚合融合为神经辐射场。
• 模型通过渲染新视角与输入图像之间的重建损失进行端到端训练，从而无需 3D 形状监督。
• 采用级联训练策略：首先利用真实位姿学习鲁棒的 3D 特征先验，随后在视角一致的 3D 特征空间中训练位姿估计器。

实验结果

研究问题

• RQ1 一个少视角 3D 重建模型能否在无类别特定监督或标准空间监督的情况下，泛化至新对象类别？
• RQ2 如何从仅有少量未标定视角且存在大位姿差异的图像中准确估计相对相机位姿？
• RQ3 3D 重建与位姿估计的联合优化能在多大程度上提升两个任务的性能？
• RQ4 在 3D 特征空间中强制实施跨视角一致性，能否增强在大视角变化下的位姿估计鲁棒性？
• RQ5 在少视角设置下，显式 3D 相关性学习能否优于隐式或基于 2D 的相关性方法，实现更优的相对位姿估计？

主要发现

• 经过测试时优化后，FORGE 在位姿估计任务上实现了 30% 的性能提升，显著优于此前最佳方法 8-Point Transformer。
• FORGE 的旋转与平移误差仅为此前最先进方法的一半，且在已见类别与新类别之间的泛化误差仅相差 5 度。
• 在预测位姿下的重建质量与使用真实位姿时相当，证明了对位姿估计误差具有强鲁棒性。
• 该模型能有效泛化至新对象类别，性能几乎与在已见类别上持平，PSNR 与 SSIM 指标下降极小。
• 消融实验证实，跨视角一致性损失与显式 3D 相关性对可靠位姿估计至关重要，若省略可使性能下降减少 60%。
• 平均池化与序列特征融合的结合提升了重建质量，且编码器中未使用 3D U-Net 有助于保持跨类别的泛化能力。