[논문 리뷰] F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories

Peng Wang, Yuan Liu외 6명|arXiv (Cornell University)|2023. 03. 28.

Advanced Vision and Imaging인용 수 11

한 줄 요약

F2-NeRF는 그리드 기반 NeRF에서 원근 왜곡을 도입하여 무한한 장면에서 임의의 자유 카메라 궤적을 지원하고, 수분 내에 학습을 가능하게 한다.

ABSTRACT

This paper presents a novel grid-based NeRF called F2-NeRF (Fast-Free-NeRF) for novel view synthesis, which enables arbitrary input camera trajectories and only costs a few minutes for training. Existing fast grid-based NeRF training frameworks, like Instant-NGP, Plenoxels, DVGO, or TensoRF, are mainly designed for bounded scenes and rely on space warping to handle unbounded scenes. Existing two widely-used space-warping methods are only designed for the forward-facing trajectory or the 360-degree object-centric trajectory but cannot process arbitrary trajectories. In this paper, we delve deep into the mechanism of space warping to handle unbounded scenes. Based on our analysis, we further propose a novel space-warping method called perspective warping, which allows us to handle arbitrary trajectories in the grid-based NeRF framework. Extensive experiments demonstrate that F2-NeRF is able to use the same perspective warping to render high-quality images on two standard datasets and a new free trajectory dataset collected by us. Project page: https://totoro97.github.io/projects/f2-nerf.

연구 동기 및 목표

• 무한한 장면에서 임의의 카메라 궤적을 가진 빠른 NeRF 학습의 동기를 제시한다.
• 자유 궤적에 대해 효율적인 그리드 기반 NeRF를 가능하게 하는 일반적인 공간 왜곡(space-warping) 스킴을 개발한다.
• 확장 가능하고 적응적인 공간 구분 및 해시-그리드 표현을 통해 고품질의 새로운 뷰 합성을 달성한다.

제안 방법

• 카메라 투영에 대한 PCA를 사용하여 무한한 공간을 경계가 있는 왜곡 공간으로 매핑하는 F(x)=M G(x)라는 원근 왜곡 함수를 제안한다.
• 가시 카메라와 왜곡 영역을 정렬하기 위해 공간을 옥트리로 세분화한다.
• 공통 왜곡 공간에서 가지 영역 전반에 걸쳐 다중 해상도 해시 그리드 표현을 구축하고, 충돌을 줄이기 위해 잎(leaf)별 해싱을 실시한다.
• 왜곡 공간의 광선에 대해 원근 샘플링을 사용하여 샘플링 효율성과 수렴성을 향상시킨다.
• 컬러 재구성 손실과 함께 시차(disparity) 및 총 변화( total-variation ) 정규화를 사용해 학습한다.

Figure 1 : Top: (a) Forward-facing camera trajectory. (b) 360 ∘ object-centric camera trajectory. (c) Free camera trajectory. In (c), the camera trajectory is long and contains multiple foreground objects, which is extremely challenging. Bottom: Rendered images of the state-of-the-art fast NeRF trai

실험 결과

연구 질문

• RQ1 빠른 그리드 기반 NeRF 프레임워크 내에서 원근 왜곡이 무한한 장면에서 임의의 자유 카메라 궤적을 처리할 수 있는가?
• RQ2 적응형 공간 세분화와 잎별 왜곡이 무한 데이터셋의 렌더링 품질 및 학습 효율성에 미치는 영향은?
• RQ3 원근 왜곡이 forward-facing(전방 시점) 데이터, 360도 객체 중심 데이터, 그리고 자유 궤적 데이터에 일반화되는가?
• RQ4 무한 궤적 데이터에서 기존 fast-NeRF 기반 대비 F2-NeRF의 정량적 이점은 무엇인가?

주요 결과

Method	Tr. time	PSNR ↑	SSIM ↑	LPIPS ↓ (VGG)
NeRF++ [62]	hours	23.47	0.603	0.499
mip-NeRF-360 [3]	hours	27.01	0.766	0.295
mip-NeRF-360 short	30m	22.04	0.537	0.586
Plenoxels [58]	25m	19.13	0.507	0.543
DVGO [39]	21m	23.90	0.651	0.455
Instant-NGP [26]	6m	24.43	0.677	0.413
F2-NeRF	12m	26.32	0.779	0.276

• F2-NeRF는 약 12분의 학습으로 2080Ti GPU에서 자유 궤적을 갖는 무한 데이터셋에서 고품질 렌더링을 달성한다.
• Free 데이터셋에서 F2-NeRF는 PSNR 26.32, SSIM 0.779, LPIPS 0.276를 달성하여 다른 빠른 NeRF 방법들을 능가한다.
• Perspective warping은 inverse sphere warping 및 no-warp Ablations에 비해 일관되게 우수하며, perspective sampling과 결합했을 때 최상의 결과를 얻는다.
• F2-NeRF는 forward-facing(LLFF) 및 360-degree(NeRF-360-V2) 데이터셋에서 호환성과 경쟁력 있는 품질을 유지한다.
• 이 방법은 per-leaf 해시 특성을 갖는 공유된 warp 공간이 충돌을 줄이면서 빠른 학습 속도를 유지할 수 있음을 보여준다.

Figure 2 : A 2D example. (a) The gray regions at the orange points align with the image resolutions. (b) Axis-aligned grids in the original Euclidean space are not aligned with the camera rays.