[论文解读] im2nerf: Image to Neural Radiance Field in the Wild

Mi Lu, Abhijit Kundu+4 more|arXiv (Cornell University)|Sep 8, 2022

Advanced Vision and Imaging被引用 7

一句话总结

im2nerf 提出了一种自监督框架，能够从野外的一张未标定图像中预测出连续的神经辐射场（NeRF），通过解耦的形状、外观和相机位姿编码实现。通过利用对抗性损失、对称性、场景框约束以及循环位姿一致性，该方法在无需多视角监督或3D标注的情况下，实现了最先进水平的新视角合成性能。

ABSTRACT

We propose im2nerf, a learning framework that predicts a continuous neural object representation given a single input image in the wild, supervised by only segmentation output from off-the-shelf recognition methods. The standard approach to constructing neural radiance fields takes advantage of multi-view consistency and requires many calibrated views of a scene, a requirement that cannot be satisfied when learning on large-scale image data in the wild. We take a step towards addressing this shortcoming by introducing a model that encodes the input image into a disentangled object representation that contains a code for object shape, a code for object appearance, and an estimated camera pose from which the object image is captured. Our model conditions a NeRF on the predicted object representation and uses volume rendering to generate images from novel views. We train the model end-to-end on a large collection of input images. As the model is only provided with single-view images, the problem is highly under-constrained. Therefore, in addition to using a reconstruction loss on the synthesized input view, we use an auxiliary adversarial loss on the novel rendered views. Furthermore, we leverage object symmetry and cycle camera pose consistency. We conduct extensive quantitative and qualitative experiments on the ShapeNet dataset as well as qualitative experiments on Open Images dataset. We show that in all cases, im2nerf achieves the state-of-the-art performance for novel view synthesis from a single-view unposed image in the wild.

研究动机与目标

• 为解决从野外单张未标定图像中学习 3D 神经辐射场的挑战，其中缺乏多视角一致性与 3D 监督。
• 仅使用分割和图像级监督，从单张图像中学习解耦的 3D 表征，编码形状、外观和相机位姿。
• 通过引入辅助元监督信号，提升在高度约束不足条件下的新视角合成泛化能力与真实感。
• 仅使用 1% 的位姿标注实现弱监督训练，利用大量未标注数据实现与全监督训练相当的性能。

提出的方法

• 该模型采用基于自编码器的架构：编码器将输入图像解耦为形状码、外观码和预测的相机位姿。
• 类似 NeRF 的解码器通过体素渲染，基于预测的形状码、外观码和相机位姿生成新视角。
• 训练过程包含输入视角的重建损失、新视角渲染结果的对抗性损失，以及提升几何一致性对称性正则化。
• 通过重新编码渲染的新视角并预测原始相机位姿，应用循环一致性损失，以强化几何合理性。
• 使用场景框约束对 3D 形状和相机位姿预测进行正则化，使其保持在合理的空间范围内。
• 该框架在大规模数据集（如 ShapeNet 和 Open Images）上端到端训练，无需 3D 监督或多视角输入。

实验结果

研究问题

• RQ1 能否仅使用野外单张未标定图像，在无多视角监督的情况下预测出连续的 3D 神经辐射场？
• RQ2 如何利用世界知识（如对称性、场景结构、位姿一致性）等元监督信号改善从单张图像的 3D 重建？
• RQ3 对抗性训练与循环一致性损失在多大程度上能提升新视角合成的真实感与几何准确性？
• RQ4 该模型在仅使用极少位姿监督的情况下，能否泛化到真实世界数据集（如 Open Images）？

主要发现

• 在 ShapeNet 3D-R2N2 数据集上，im2nerf 实现了最先进水平的新视角合成性能，飞机类别 PSNR 达到 22.2，显著优于先前方法。
• 在 Open Images 数据集上，定性结果表明，与 Ye 等人 [48] 和 PrGAN 等基线方法相比，im2nerf 生成的新视角更具真实感与连贯性。
• 消融实验确认，对抗性损失、场景框约束和循环位姿一致性对性能至关重要，各项均显著提升了真实感与几何一致性。
• 在弱监督设置下，仅使用 1% 的位姿标注，im2nerf 的性能可与全监督训练相媲美，展现出强大的数据效率。
• 定性结果表明，该模型在多种物体类别（包括汽车和飞机）上均具有良好的泛化能力，适用于 ShapeNet 和 Open Images 数据集。