[論文レビュー] SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

Liang Song, Guangming Wang+4 more|arXiv (Cornell University)|Sep 10, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

SC-NeRFは、オブジェクトレベルのデータセットからのみ学習し、3つのスパARSEなビューのみを用いて未観測の屋外シーンへ一般化する自己補正型ニューラルレンディアンスフィールドを提案する。マルチヘッドアテンションを深度正規化されたクエリと統合することで、幾何的歪みと外観アーチファクトを是正し、屋外ベンチマークでPSNR 25.989、LPIPS 0.224という最先端の性能を達成した。

ABSTRACT

In recent studies, the generalization of neural radiance fields for novel view synthesis task has been widely explored. However, existing methods are limited to objects and indoor scenes. In this work, we extend the generalization task to outdoor scenes, trained only on object-level datasets. This approach presents two challenges. Firstly, the significant distributional shift between training and testing scenes leads to black artifacts in rendering results. Secondly, viewpoint changes in outdoor scenes cause ghosting or missing regions in rendered images. To address these challenges, we propose a geometric correction module and an appearance correction module based on multi-head attention mechanisms. We normalize rendered depth and combine it with light direction as query in the attention mechanism. Our network effectively corrects varying scene structures and geometric features in outdoor scenes, generalizing well from object-level to unseen outdoor scenes. Additionally, we use appearance correction module to correct appearance features, preventing rendering artifacts like blank borders and ghosting due to viewpoint changes. By combining these modules, our approach successfully tackles the challenges of outdoor scene generalization, producing high-quality rendering results. When evaluated on four datasets (Blender, DTU, LLFF, Spaces), our network outperforms previous methods. Notably, compared to MVSNeRF, our network improves average PSNR from 19.369 to 25.989, SSIM from 0.838 to 0.889, and reduces LPIPS from 0.265 to 0.224 on Spaces outdoor scenes.

研究の動機と目的

• オブジェクトレベルのデータセットからのみ学習したニューラルレンディアンスフィールドが、屋外シーンへ一般化できるようにすること。
• 分布シフトと大きな視点変化によって引き起こされる黒いアーチファクトやゴースト化を是正すること。
• 個々のシーンの最適化なしに、スパARSEビュー設定におけるレンダリング品質を向上させること。
• 多様なシーン構造にわたる堅牢な一般化を実現するための微分可能でエンドツーエンドで学習可能なフレームワークを開発すること。

提案手法

• スパARSEなマルチビュー入力から低解像度の3次元幾何コストボリュームを構築し、連続的な幾何的事前知識を提供する。
• レンダリング済み深度と視点方向をクエリとして用いるマルチヘッドアテンションを用いた幾何的補正モジュールを導入する。
• 同じアテンション機構を用いて、方向および深度埋め込みに基づき外観特徴を精緻化する外観補正モジュールを採用する。
• 両方の補正モジュールを逐次的に組み合わせる：幾何的補正を外観補正の前に実行することで、特徴表現を向上させる。
• 評価のための深度マップ再構築のために、ボリューム密度重み付けを用いた微分可能レンダリングを用いる。
• 特徴の整合性向上とアーチファクト低減のため、方向および深度埋め込みをマルチヘッドアテンションのクエリとして活用する。

Figure 1: Comparison with previous methods IBRNet [ 12 ] and MVSNeRF [ 10 ] on Spaces. We train both their and our networks on DTU and generalize to outdoor scenes in Spaces. The left, middle, and right images respectively show the rendering result of [ 12 ] , [ 10 ] , and ours.

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルのデータセットからのみ学習したNeRFモデルが、複雑な屋外シーンへ効果的に一般化できるか？
• RQ2 スパARSEビュー新規ビュー合成において、大きな視点変化によって生じる幾何的不一致をどのように是正できるか？
• RQ3 深度に依存するクエリ設計が、ゴースト化や黒い境界などのレンダリングアーチファクトを低減する役割を果たすか？
• RQ4 アテンションベースの特徴補正は、標準的なNeRFやIBRベースの手法と比較して、一般化性能をどの程度向上させるか？

主な発見

• SC-NeRFは、Spaces屋外データセットでPSNR 25.989を達成し、MVSNeRFの19.369と比べ顕著な向上を示した。
• 同じデータセットでLPIPSは0.265（MVSNeRF）から0.224に低下し、より優れた知覚的品質を示した。
• SSIMは0.889に向上し、レンダリングされたビューにおける構造的忠実度の向上を示した。
• アブレーションスタディにより、深度と方向をアテンションクエリとして組み合わせることで、ホワイトホールと影の移動アーチファクトの両方を低減できることが確認された。
• 深度正規化されたクエリを用いた幾何的補正は、MVSNeRFと比較して絶対的深度誤差を37%低減し、IBRNetと比較して98%も低減した。
• 幾何的補正を先に実行し、その後に外観補正を行う逐次的補正アプローチが、PSNR、SSIM、LPIPSの各指標で最良の全体的性能を達成した。

Figure 2: Overview of SC-NeRF. We first extract image features and warp them onto a plane sweep,then use 3DCNN to build a geometric Volume. Second, we use the geometric feature rectification and appearance feature rectification modules to obtain the final radiation features. Finally, we use an MLP t