[论文解读] F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories

Peng Wang, Yuan Liu+6 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Vision and Imaging被引用 11

一句话总结

F2-NeRF 在基于网格的 NeRF 中引入透视扭曲，以支持在无界场景中的任意自由相机轨迹，从而在几分钟内完成训练。

ABSTRACT

This paper presents a novel grid-based NeRF called F2-NeRF (Fast-Free-NeRF) for novel view synthesis, which enables arbitrary input camera trajectories and only costs a few minutes for training. Existing fast grid-based NeRF training frameworks, like Instant-NGP, Plenoxels, DVGO, or TensoRF, are mainly designed for bounded scenes and rely on space warping to handle unbounded scenes. Existing two widely-used space-warping methods are only designed for the forward-facing trajectory or the 360-degree object-centric trajectory but cannot process arbitrary trajectories. In this paper, we delve deep into the mechanism of space warping to handle unbounded scenes. Based on our analysis, we further propose a novel space-warping method called perspective warping, which allows us to handle arbitrary trajectories in the grid-based NeRF framework. Extensive experiments demonstrate that F2-NeRF is able to use the same perspective warping to render high-quality images on two standard datasets and a new free trajectory dataset collected by us. Project page: https://totoro97.github.io/projects/f2-nerf.

研究动机与目标

• 促进对无界场景中任意相机轨迹的快速神经辐射场训练。
• 开发一种通用的空间扭曲方案，使网格基 NeRF 能以自由轨迹高效工作。
• 通过可扩展的自适应空间细分与哈希网格表示，实现高质量的新视角合成。

提出的方法

• 提出透视扭曲函数 F(x)=M G(x) 将无界空间映射到有界扭曲空间，使用相机投影的 PCA。
• 用八叉树对空间进行细分，使扭曲区域与可见相机对齐。
• 在共同的扭曲空间内跨叶区域构建多分辨率哈希网格表示，采用叶级特定哈希以降低冲突。
• 使用透视采样在扭曲空间的射线上进行采样，提高采样效率和收敛性。
• 以颜色重建损失加上视差和全变差正则化进行训练。

Figure 1 : Top: (a) Forward-facing camera trajectory. (b) 360 ∘ object-centric camera trajectory. (c) Free camera trajectory. In (c), the camera trajectory is long and contains multiple foreground objects, which is extremely challenging. Bottom: Rendered images of the state-of-the-art fast NeRF trai

实验结果

研究问题

• RQ1 透视扭曲是否能够在快速网格基 NeRF 框架内处理无界场景中的任意自由相机轨迹？
• RQ2 自适应空间子划分和按叶扭曲对渲染质量及在无界数据集上的训练效率有何影响？
• RQ3 透视扭曲是否能在前向视角、360°物体中心以及自由轨迹数据集上实现泛化？
• RQ4 F2-NeRF 相较于现有快速 NeRF 基线，在无界轨迹数据上的定量提升有哪些？

主要发现

方法	训练时间	PSNR ↑	SSIM ↑	LPIPS ↓ (VGG)
NeRF++ [62]	hours	23.47	0.603	0.499
mip-NeRF-360 [3]	hours	27.01	0.766	0.295
mip-NeRF-360 short	30m	22.04	0.537	0.586
Plenoxels [58]	25m	19.13	0.507	0.543
DVGO [39]	21m	23.90	0.651	0.455
Instant-NGP [26]	6m	24.43	0.677	0.413
F2-NeRF	12m	26.32	0.779	0.276

• F2-NeRF 在具有自由轨迹的无界数据集上实现高质量渲染，使用大约 12 分钟在 2080Ti GPU 上完成训练。
• 在 Free 数据集上，F2-NeRF 达到 PSNR 26.32、SSIM 0.779、LPIPS 0.276，超越其他快速 NeRF 方法。
• 透视扭曲在对比反向球扭曲和无扭曲消融时始终优于，最佳结果出现在与透视采样结合时。
• F2-NeRF 在前向视角 (LLFF) 和 360° 数据集 (NeRF-360-V2) 上保持兼容性和竞争力。
• 该方法表明，具有叶级哈希特征的共享扭曲空间可以在保持快速训练速度的同时降低冲突。

Figure 2 : A 2D example. (a) The gray regions at the orange points align with the image resolutions. (b) Axis-aligned grids in the original Euclidean space are not aligned with the camera rays.