[論文レビュー] ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis

Shoukang Hu, Kaichen Zhou+7 more|arXiv (Cornell University)|May 18, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

ConsistentNeRF は、深度由来の幾何構造と深度不変損失を用いて、マルチビューおよびシングルビューの3次元整合性を強制することで、スパースビュー合成におけるニューラルレイトランスフィールド（NeRF）を向上させ、DTU、LLFF、NeRF Synthetic ベンチマーク全体で、元の NeRF と比較して最高で PSNR 94% 向上、SSIM 76% 向上、LPIPS 31% 減少を達成した。

ABSTRACT

Neural Radiance Fields (NeRF) has demonstrated remarkable 3D reconstruction capabilities with dense view images. However, its performance significantly deteriorates under sparse view settings. We observe that learning the 3D consistency of pixels among different views is crucial for improving reconstruction quality in such cases. In this paper, we propose ConsistentNeRF, a method that leverages depth information to regularize both multi-view and single-view 3D consistency among pixels. Specifically, ConsistentNeRF employs depth-derived geometry information and a depth-invariant loss to concentrate on pixels that exhibit 3D correspondence and maintain consistent depth relationships. Extensive experiments on recent representative works reveal that our approach can considerably enhance model performance in sparse view conditions, achieving improvements of up to 94% in PSNR, 76% in SSIM, and 31% in LPIPS compared to the vanilla baselines across various benchmarks, including DTU, NeRF Synthetic, and LLFF.

研究の動機と目的

• スパースビュー設定における NeRF の性能低下を、監視信号の不足と3次元整合性学習の不十分さが原因として特定し、それらを是正すること。
• NeRF 最適化におけるマルチビューおよびシングルビューの3次元整合性を明示的にモデル化することで、再構築品質を向上させること。
• 従来の方法がピクセルレベルの色または深度にのみ焦点を当てているのを補い、視点間で幾何的整合性を統合すること。
• 深度監視と整合性正則化を用いて、低ビュー数条件下でも堅牢な新規ビュー合成を可能とすること。
• DTU、LLFF、NeRF Synthetic を含む多様なベンチマークで、最小限のアーキテクチャ変更で最先端の性能を示すこと。

提案手法

• 事前学習済みの MiDas モデルからの深度予測を活用し、マルチビューの3次元対応マスクを導出し、複数のビューで幾何的に整合するピクセルを特定する。
• マスクベースの損失を適用し、複数のビューで一貫した3次元投影を持つピクセルに高い学習損失重みを割り当て、幾何的に一貫した領域に重点を置く。
• 局所的な画像パッチ内で一貫した深度関係を強制することで、シングルビューの3次元整合性を正則化するための深度不変損失関数を導入する。
• 深度から導かれる幾何的制約を用いて最適化を安定化させ、スパースビュー環境での過学習を防ぐ。
• 統一された学習目的関数内でマルチビューおよびシングルビューの整合性正則化を統合し、一般化性能と詳細の保持を向上させる。
• 学習の安定化と低データ環境での一般化向上を図るため、MLP のバイアス初期化を 0 から 1 の一様分布に変更する。

実験結果

リサーチクエスチョン

• RQ1 マルチビューの3次元整合性を明示的にモデル化することで、スパースビュー設定下での NeRF の性能向上が可能か？
• RQ2 深度不変損失によるシングルビューの3次元整合性の統合は、再構築品質と一般化性能にどのように影響するか？
• RQ3 マルチビューとシングルビューの3次元整合性を組み合わせることで、従来の深度正則化 NeRF 手法をどれほど上回るか？
• RQ4 訓練ビューが限られた状況下で、深度由来の幾何的情報が NeRF 最適化を効果的に導けるか？
• RQ5 3次元整合性の強制は、特に訓練ビューから離れた視点においても、一般化性能の向上に寄与するか？

主な発見

• スパースビュー設定下（3ビュー）における DTU データセットでは、ConsistentNeRF が元の NeRF と比較して PSNR で最高で 94% の相対的向上を達成した。
• 複数のベンチマーク全体で SSIM は最高で 76% 向上し、LPIPS は 31% 減少し、優れた知覚的品質と詳細の保持を示した。
• マルチビューおよびシングルビューの3次元整合性正則化を併用することで最良の性能が得られ、アブレーションスタディにより両者の成分が相補的に機能することが確認された。
• ConsistentNeRF は、正確な照明と幾何構造を備えたシャープな画像を生成し、特に遠く離れたターゲットビューにおいて、MVSNeRF や GeoNeRF、ENeRF を上回る視覚的品質を示した。
• DTU、LLFF、NeRF Synthetic を含む多様なデータセットにわたり、シーンの複雑さや視点密度の違いに対して良好に一般化し、堅牢性を示した。
• MLP バイアス初期化の変更により、学習が安定し、過学習が軽減され、スパース設定下での一般化性能が向上した。