[论文解读] FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling

Christopher Xie, Keunhong Park+2 more|arXiv (Cornell University)|Apr 17, 2021

3D Shape Modeling and Analysis参考文献 44被引用 6

一句话总结

FiG-NeRF 提出了一种双组件神经辐射场（NeRF）模型，能够从背景自由的随意拍摄图像中联合学习3D物体类别重建与前景-背景分离。通过将前景建模为可变形NeRF，背景建模为几何固定、外观可变的NeRF，该方法在无需掩码或2D标注的情况下，实现了最先进的视图合成与非模态分割效果。

ABSTRACT

We investigate the use of Neural Radiance Fields (NeRF) to learn high quality 3D object category models from collections of input images. In contrast to previous work, we are able to do this whilst simultaneously separating foreground objects from their varying backgrounds. We achieve this via a 2-component NeRF model, FiG-NeRF, that prefers explanation of the scene as a geometrically constant background and a deformable foreground that represents the object category. We show that this method can learn accurate 3D object category models using only photometric supervision and casually captured images of the objects. Additionally, our 2-part decomposition allows the model to perform accurate and crisp amodal segmentation. We quantitatively evaluate our method with view synthesis and image fidelity metrics, using synthetic, lab-captured, and in-the-wild data. Our results demonstrate convincing 3D object category modelling that exceed the performance of existing methods.

研究动机与目标

• 从具有变化且无约束背景的随意拍摄图像中学习高质量的3D物体类别模型。
• 在不依赖2D分割掩码或轮廓图的情况下，实现3D重建与前景-背景分离的联合优化。
• 通过利用双组件NeRF模型的内在分解，实现非模态分割。
• 在仅使用光度监督的情况下，证明其在真实世界数据（如Objectron数据集）上的泛化能力。
• 在合成数据、实验室采集数据和真实世界数据上，视图合成与实例插值任务中均优于现有方法。

提出的方法

• 采用双NeRF架构：一个可变形NeRF用于前景物体，一个几何固定NeRF用于背景。
• 对背景NeRF施加几何恒定性约束，以促进分离，假设背景结构（如桌子、人脸）在不同视角下保持稳定。
• 应用稀疏性先验，并结合可学习的beta损失与top-k难例挖掘，以增强物体边界的清晰度。
• 在前景和背景模型中，空间特征使用10个频率的 positional encoding；由于水杯几何复杂度较低，其模型使用4个频率。
• 对前景和背景组件均采用数值积分近似体积渲染积分。
• 在训练初期引入随机密度扰动，以避免模式崩溃，并促进两个组件的均衡学习。

Figure 1 : Overview of our system. We take as input a collection of RGB captures of scenes with objects of a category. Our method jointly learns to decompose the scenes into foreground and background (without supervision) and a 3D object category model, that enables applications such as instance int

实验结果

研究问题

• RQ1 2组件NeRF模型能否从无约束、真实世界图像中联合学习3D物体类别重建与前景-背景分离？
• RQ2 在保持背景几何固定、允许外观变化的前提下，是否能提升3D重建与分割质量，相比端到端NeRF？
• RQ3 该模型能否在无任何2D监督或真实轮廓图的情况下，实现高保真度视图合成与非模态分割？
• RQ4 与使用3D监督的基线方法相比，该方法在具有多样化、动态背景的真实世界数据上的表现如何？
• RQ5 将模型分解为前景与背景在多大程度上提升了实例插值与视图外推等任务的泛化能力？

主要发现

• FiG-NeRF 在合成数据集和真实世界数据集（包括Objectron基准）上均实现了最先进的新视角合成性能。
• 即使未使用额外训练图像，该方法生成的非模态分割结果在清晰度与准确性上也优于Mask R-CNN和专用抠图网络。
• 双组件架构可在多样化背景中保持一致的前景-背景分离，且无需2D标注。
• 视图合成结果在所有数据集上均显著优于非可变形NeRF和SRN基线，在PSNR与LPIPS指标上均有提升。
• 该模型在真实世界数据上泛化良好，能成功从背景多变的随意拍摄视频中重建3D物体类别。
• 消融实验表明，固定背景假设与稀疏性先验对稳定且准确的分解至关重要。

Figure 2 : Example setups for Glasses (top) and Cups (bottom) datasets. For the lab-captured Glasses dataset [ 20 ] , the background (left) is a mannequin, and each scene (right) is a different pair of glasses placed on the mannequin. For Cups , we build this from the Objectron [ 2 ] dataset of crow