[論文レビュー] F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories

Peng Wang, Yuan Liu+6 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Vision and Imaging被引用数 11

ひとこと要約

F2-NeRF はグリッドベースの NeRF 内で視点歪み（パースペクティブワーピング）を導入し、境界のないシーンで任意の自由カメラ軌道をサポートすることで、数分でのトレーニングを可能にする。

ABSTRACT

This paper presents a novel grid-based NeRF called F2-NeRF (Fast-Free-NeRF) for novel view synthesis, which enables arbitrary input camera trajectories and only costs a few minutes for training. Existing fast grid-based NeRF training frameworks, like Instant-NGP, Plenoxels, DVGO, or TensoRF, are mainly designed for bounded scenes and rely on space warping to handle unbounded scenes. Existing two widely-used space-warping methods are only designed for the forward-facing trajectory or the 360-degree object-centric trajectory but cannot process arbitrary trajectories. In this paper, we delve deep into the mechanism of space warping to handle unbounded scenes. Based on our analysis, we further propose a novel space-warping method called perspective warping, which allows us to handle arbitrary trajectories in the grid-based NeRF framework. Extensive experiments demonstrate that F2-NeRF is able to use the same perspective warping to render high-quality images on two standard datasets and a new free trajectory dataset collected by us. Project page: https://totoro97.github.io/projects/f2-nerf.

研究の動機と目的

• 境界のないシーンで任意のカメラ軌道に対して高速な神経放射場トレーニングを動機付ける。
• 自由な軌道のための効率的なグリッドベース NeRF を実現する一般的な空間歪みスキームを開発する。
• スケーラブルで適応的な空間分割とハッシュグリッド表現を用いて高品質な新規ビュー合成を達成する。

提案手法

• カメラ投影に基づく PCA を用いて、unbounded space を bounded warp space に写像する F(x)=M G(x) というパースペクティブワーピング関数を提案する。
• 可視カメラとワープ領域を揃えるように八叉木で空間を細分化する。
• 葉領域ごとにハッシュ化を用いた葉特有のハッシュ機構で衝突を減らし、共通のワープ空間にあるマルチ解像度ハッシュグリッド表現を構築する。
• パースペクティブサンプリングを用いてワープ空間のレイに沿ってサンプリングを行い、サンプリング効率と収束を改善する。
• カラー再構成損失に加えて視差と全変動正則化項を用いて訓練する。

Figure 1 : Top: (a) Forward-facing camera trajectory. (b) 360 ∘ object-centric camera trajectory. (c) Free camera trajectory. In (c), the camera trajectory is long and contains multiple foreground objects, which is extremely challenging. Bottom: Rendered images of the state-of-the-art fast NeRF trai

実験結果

リサーチクエスチョン

• RQ1 パースペクティブワーピングは、unbounded scenes における自由カメラ軌道を高速グリッドベース NeRF フレームワークで扱えるか。
• RQ2 適応的な空間分割と葉ごとのワーピングは、無界データセットにおけるレンダリング品質と訓練効率にどのような影響を与えるか。
• RQ3 パースペクティブワーピングは前方視角、360度の物体中心、自由軌道データセットを横断して一般化するか。
• RQ4 F2-NeRF が無界軌道データに対して既存の fast-NeRF ベースラインよりどの程度定量的な向上を示すか。

主な発見

Method	Tr. time	PSNR ↑	SSIM ↑	LPIPS ↓ (VGG)
NeRF++ [62]	hours	23.47	0.603	0.499
mip-NeRF-360 [3]	hours	27.01	0.766	0.295
mip-NeRF-360 short	30m	22.04	0.537	0.586
Plenoxels [58]	25m	19.13	0.507	0.543
DVGO [39]	21m	23.90	0.651	0.455
Instant-NGP [26]	6m	24.43	0.677	0.413
F2-NeRF	12m	26.32	0.779	0.276

• F2-NeRF は自由軌道を含む無境界データセットで、2080Ti GPU で約 12 分のトレーニングで高品質のレンダリングを達成。
• Free データセットで F2-NeRF は PSNR 26.32、SSIM 0.779、LPIPS 0.276 を達成し、他の fast NeRF メソッドを上回る。
• パースペクティブワーピングは一貫して inverse sphere warping と no-warp のアブレーションを上回り、パースペクティブサンプリングと組み合わせたとき最良の結果を得る。
• F2-NeRF は前方視（LLFF）と 360度（NeRF-360-V2）のデータセットにわたって互換性と競争力のある品質を維持する。
• この手法は葉ごとにハッシュ機能を持つ共通のワープ空間が、衝突を減らしつつ訓練速度を保つことを示している。

Figure 2 : A 2D example. (a) The gray regions at the orange points align with the image resolutions. (b) Axis-aligned grids in the original Euclidean space are not aligned with the camera rays.