[論文レビュー] BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

Yuanbo Xiangli, Linning Xu+6 more|arXiv (Cornell University)|Dec 10, 2021

Advanced Vision and Imaging被引用数 8

ひとこと要約

BungeeNeRF は段階的な学習を用いて、遠方の視点から始めて段階的に詳細を追加することで、極端なマルチスケールシーンをモデル化するプログレッシブなニューラルレンダリングフィールドを提案する。残差ブロックとスキップ接続、マルチレベルの監視を用いることで、スケールをまたいで高精細なレンダリングを維持し、都市、合成、ドローンで撮影されたシーンにおいて、深度の範囲や解像度の変動が大きい状況で、標準的な NeRF や Mip-NeRF より顕著に優れた性能を発揮する。

ABSTRACT

Neural radiance fields (NeRF) has achieved outstanding performance in modeling 3D objects and controlled scenes, usually under a single scale. In this work, we focus on multi-scale cases where large changes in imagery are observed at drastically different scales. This scenario vastly exists in real-world 3D environments, such as city scenes, with views ranging from satellite level that captures the overview of a city, to ground level imagery showing complex details of an architecture; and can also be commonly identified in landscape and delicate minecraft 3D models. The wide span of viewing positions within these scenes yields multi-scale renderings with very different levels of detail, which poses great challenges to neural radiance field and biases it towards compromised results. To address these issues, we introduce BungeeNeRF, a progressive neural radiance field that achieves level-of-detail rendering across drastically varied scales. Starting from fitting distant views with a shallow base block, as training progresses, new blocks are appended to accommodate the emerging details in the increasingly closer views. The strategy progressively activates high-frequency channels in NeRF's positional encoding inputs and successively unfolds more complex details as the training proceeds. We demonstrate the superiority of BungeeNeRF in modeling diverse multi-scale scenes with drastically varying views on multiple data sources (city models, synthetic, and drone captured data) and its support for high-quality rendering in different levels of detail.

研究の動機と目的

• 都市における衛星から地上レベルまでの視点を含むような、極端なスケール変動を示す 3D シーンをモデル化する課題に対処すること。
• 入力信号をスケールごとに一様に扱うため、マルチスケールシーンに対して困難を示す標準的な NeRF や Mip-NeRF の限界を克服すること。
• 階層的なシーン表現を学習することで、粗い遠方の視点から詳細な近接撮影まで、あらゆる解像度レベルで一貫性があり高精細なレンダリングを実現すること。
• モデルとトレーニングデータを段階的に拡大するトレーニングパラダイムを設計し、各段階で増加する解像度に応じた新たな詳細に焦点を当てる。
• 同じ統一モデルを用いて、異なる出力ヘッドが異なるスケールのビューをレンダリングできるようにすることで、柔軟な解像度レベルのレンダリングを可能にすること。

提案手法

• プログレッシブなトレーニング：粗いスケールから始め、段階的に近い視点をトレーニングセットに追加し、各段階で新しい残差ブロックをモデルに追加する。
• 残差ブロックアーキテクチャ：各新しいブロックはスキップ接続を通じて位置符号化入力を受取り、直前の段階の出力からの色と密度の残差を予測する。
• マルチレベル監視：各ブロックの出力ヘッドは、その対応するスケールまでを含む、最も粗いスケールからの画像の集合を用いて学習され、スケール固有のデータをフルに活用する。
• 階層的特徴学習：スキップ接続により、位置符号化の高周波成分を再利用可能となり、より深いブロックが近接視点の詳細を精緻に修正できる。
• プログレッシブなモデル成長：単一のネットワークを深くする代わりに、新しいブロックを追加することでモデルを拡大し、トレーニングの安定性を保ちながら特徴の階層を改善する。
• 出力ヘッドの特化：各ブロックが異なる解像度レベルのレンダリングを生成するため、再トレーニングなしで柔軟かつスケールに適応した推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 衛星、航空、地上レベルの視点を含むような、極端なスケール変動を示すシーンを、ニューラルレンダリングフィールドが効果的にモデル化できるか？
• RQ2 同じモデルで、遠方の視点の完全性を損なわず、極めて異なる解像度レベルで高精細な詳細を維持できるか？
• RQ3 段階的な学習によるマルチスケール 3D レンダリング表現の学習を可能にし、初期の粗い段階からの特徴を保持できるアーキテクチャ的設計は何か？
• RQ4 マルチレベル監視と残差ブロック設計は、マルチスケールデータに対する標準的な NeRF トレーニングと比較して、レンダリング品質をどのように向上させるか？
• RQ5 プログレッシブなトレーニング戦略は、ベースラインの NeRF や Mip-NeRF と比較して、クローズアップでのぼやけや遠方の視点でのアーティファクトをどの程度軽減できるか？

主な発見

• BungeeNeRF は、極端なスケール変動を示す都市シーンにおいて、標準的な NeRF や Mip-NeRF より顕著に高い PSNR と視覚的品質を達成している。特に、近接撮影の詳細部で顕著な改善が見られる。
• Mip-NeRF がしばしば周辺領域を不完全またはぼやけた状態にしているのに対し、BungeeNeRF は完全でアーティファクトのない遠方のビューを維持している。
• アブレーションスタディの結果、残差接続とスキップ接続の両方が重要であることが判明。両方を除去すると、特に近接スケールで性能が著しく低下する。
• 残差接続により、後続のブロックが初期の出力を精緻に修正でき、スケールをまたいで幾何学的整合性と深度の正確性が向上する。
• BungeeNeRF は、複数のターゲットを同時に細部まで保持するように、都市シーンにおける複雑なマルチダイブカメラトラジェクトリを成功裏にレンダリングしている。
• 24m から 76m の高度変化を伴う UAV が撮影した現実世界のシーンにおいて、BungeeNeRF は Mip-NeRF よりも新しいビュー合成において優れた性能を示し、実用的価値を実証している。