[論文レビュー] PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs

Young Chun Ahn, Seok-Hwan Jang+3 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

PANeRFは、少数の入力から幾何学的に妥当な新規ビューを合成するための擬似ビュー増強（PA）スキームを提案する。DINO-ViTから得られる局在マップを用いて前景と背景領域を分離し、初期学習用に信頼性の高い擬似ビューを生成する。その後、マルチレベルのセマンティック整合性（MSC）と情報ポテンシャル（IP）正則化を用いた二段階のファインチューニングを実施し、1ビュー入力でも最先端のビュー合成品質を達成した。

ABSTRACT

The method of neural radiance fields (NeRF) has been developed in recent years, and this technology has promising applications for synthesizing novel views of complex scenes. However, NeRF requires dense input views, typically numbering in the hundreds, for generating high-quality images. With a decrease in the number of input views, the rendering quality of NeRF for unseen viewpoints tends to degenerate drastically. To overcome this challenge, we propose pseudo-view augmentation of NeRF, a scheme that expands a sufficient amount of data by considering the geometry of few-shot inputs. We first initialized the NeRF network by leveraging the expanded pseudo-views, which efficiently minimizes uncertainty when rendering unseen views. Subsequently, we fine-tuned the network by utilizing sparse-view inputs containing precise geometry and color information. Through experiments under various settings, we verified that our model faithfully synthesizes novel-view images of superior quality and outperforms existing methods for multi-view datasets.

研究の動機と目的

• 入力ビューが疎な場合にNeRFのレンダリング品質が低下する問題に取り組むこと。特にAR/VRや自動運転などの実世界応用において顕著である。
• 既存の少数入力NeRF手法が直面する幾何的不正確さ、浮遊アーチファクト、未確認ビューにおける詳細の損失といった制限を克服すること。
• 特に1ビュー入力のような極端なデータ不足下でも、NeRF最適化における一般化性能の向上と不確実性の低減を図ること。
• 優れたビュー合成を実現するため、データ増強とセマンティックに注意を向ける正則化を統合した堅牢なトレーニングパイプラインの構築

提案手法

• 擬似ビュー増強（PA）は、深度マップを用いて入力画像を変形することで合成ビューを生成し、元の入力ビューの周囲のトレーニングデータ分布を拡張する。
• DINO-ViTから得られる局在マップを用いて前景と背景領域をセグメンテーションし、変形アーチファクトの影響を低減するための領域別損失計算を可能にする。
• 二段階のトレーニングプロセスを採用する：まず、すべての増強済み擬似ビューでNeRFを事前学習し、新規ビュー予測における不確実性を低減する。
• その後、真値の疎なビューを用いてファインチューニングを実施し、二つの新しい正則化損失を導入する：マルチレベルセマンティック整合性（MSC）と情報ポテンシャル（IP）。
• MSCは局所的およびグローバルなレベルでセマンティック整合性を強制し、ビュー間での構造的・意味的整合性を維持する。
• IPは、特にデータが疎な状況下で、光線に沿った不確実性を最小化するように促進し、一貫した放射輝度予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 1枚の入力ビューでの学習において、擬似ビュー増強がNeRF性能を顕著に向上させ得るか？
• RQ2 変形アーチファクトが存在する状況下で、局在マップを用いた領域別損失計算が、擬似ビュー学習の信頼性にどのように影響するか？
• RQ3 提案されたMSCおよびIP正則化器が、不確実性の低減および新規ビュー合成における幾何的・意味的整合性の向上にどの程度寄与するか？
• RQ4 PANeRFは、多様なデータセットおよび設定において、既存の少数入力NeRF手法とPSNR、SSIM、LPIPSの観点でどのように比較されるか？

主な発見

• 1ビュー入力のDTUデータセットにおいて、PANeRFはPSNR 22.82を達成し、ベースラインNeRF（PSNR 20.07）および他の最先端手法を顕著に上回った。
• リアリスティックな合成360°データセットのナローベースライン設定において、PANeRFはPSNR 21.50、LPIPS 0.156を達成し、InfoNeRF（PSNR 18.41、LPIPS 0.199）を上回った。
• アブレーションスタディの結果、PAとMSC・IP正則化の併用が最高のPSNR（22.82）および最小のLPIPS（0.144）をもたらし、相乗効果が確認された。
• MSC損失は、先行研究のSC損失を上回り、視覚的に確認された図6の拡大領域において、より明確なディテールとより良い意味的整合性を実現した。
• 本手法は、1ビュー入力やナローベースライン入力のような極端な状況を含め、複数のデータセットおよび設定においても堅牢性を示し、高品質な合成を維持した。