[論文レビュー] GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency

Minseop Kwak, Jiuhn Song+1 more|arXiv (Cornell University)|Jan 26, 2023

Advanced Vision and Imaging被引用数 8

ひとこと要約

GeCoNeRFは few-shot 設定で入力ビューを未観測の viewpoints に depth-guided warping し、遮蔽を考慮したマスクで特徴レベルの幾何学的一貫性を課すことで NeRF を正則化します。

ABSTRACT

We present a novel framework to regularize Neural Radiance Field (NeRF) in a few-shot setting with a geometry-aware consistency regularization. The proposed approach leverages a rendered depth map at unobserved viewpoint to warp sparse input images to the unobserved viewpoint and impose them as pseudo ground truths to facilitate learning of NeRF. By encouraging such geometry-aware consistency at a feature-level instead of using pixel-level reconstruction loss, we regularize the NeRF at semantic and structural levels while allowing for modeling view dependent radiance to account for color variations across viewpoints. We also propose an effective method to filter out erroneous warped solutions, along with training strategies to stabilize training during optimization. We show that our model achieves competitive results compared to state-of-the-art few-shot NeRF models. Project page is available at https://ku-cvlab.github.io/GeCoNeRF/.

研究の動機と目的

• 少数ビューの制約下で幾何と外観が drift するという few-shot NeRF の未十分制約性に対処する。
• 深度レンダリングを用いた warp を擬似地上真実として幾何的一貫性正則化を提案する。
• 特徴レベルでの一貫性をモデル化し、ビュー依存放射を扱いながら意味的・構造的情報を捉える。
• 遮蔽マスクと段階的学習戦略で訓練を安定化させる。

提案手法

• 未観測 viewpoints での深度マップを NeRF からレンダリングし、観測画像を新規ビューへ warp する。
• warp された入力とレンダリングビューの間で多層 VGG-19 フィーチャーを用いた特徴レベルの一貫性損失を課す。
• 損失から信頼性の低い warp 領域を除外する遮蔽依存の一貫性マスクを適用する。
• エッジ対応の視差項で深度を正則化し局所深度の滑らかさを促進する。
• 最適化を安定化させるために段階的なカメラ姿勢生成と周波数アニーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 深度ガイド付き warping と幾何的一貫性は few-shot NeRF の性能を改善するか？
• RQ2 特徴レベルの一貫性はピクセルレベルの損失より非ランブランティア反射と遮蔽をよりうまく扱えるか？
• RQ3 遮蔽マスクと深度正則化は few-shot NeRF の安定性と再構成品質にどのように影響するか？
• RQ4 まばらなビュー設定における最適な訓練戦略は何か？

主な発見

Methods	NeRF-Synthetic PSNR	NeRF-Synthetic SSIM	NeRF-Synthetic LPIPS	NeRF-Synthetic Avg.	LLFF PSNR	LLFF SSIM	LLFF LPIPS	LLFF Avg.
NeRF	14.73	0.734	0.451	0.199	13.34	0.373	0.451	0.255
mip-NeRF	17.71	0.798	0.745	0.178	14.62	0.351	0.495	0.246
DietNeRF	16.06	0.793	0.306	0.151	14.94	0.370	0.496	0.232
InfoNeRF	18.65	0.811	0.230	0.111	14.37	0.349	0.457	0.238
RegNeRF	18.01	0.842	0.352	0.132	19.08	0.587	0.336	0.146
GeCoNeRF (Ours)	19.23	0.866	0.201	0.096	18.77	0.596	0.338	0.145

• GeCoNeRF は NeRF-Synthetic と LLFF で最先端の few-shot NeRF 手法と性能を比較可能な PSNR/SSIM/LPIPS を達成する。
• 遮蔽マスクを伴う特徴レベルの一貫性により、ワープ失敗による幾何の劣化を防ぎ、細部の捕捉を改善する。
• 遮蔽マスクは信頼性の低い warped 領域を除去し、全体的な再構成の安定性と品質を高める。
• エッジ対応の視差正則化が幾何を refined しアーティファクトを低減する。
• 進行的な姿勢サンプリングと周波数アニーリングが訓練を著しく安定化させ、結果を改善する。