[論文レビュー] Block-NeRF: Scalable Large Scene Neural View Synthesis

Matthew Tancik, Vincent Casser+6 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Vision and Imaging被引用数 29

ひとこと要約

Block-NeRF は大規模な環境を独立して訓練された NeRF ブロックに分割し、外観整合と動的ブロックレンダリングを備えた、編集可能でスケーラブルな city-scale neural view synthesis を実現する。

ABSTRACT

We present Block-NeRF, a variant of Neural Radiance Fields that can represent large-scale environments. Specifically, we demonstrate that when scaling NeRF to render city-scale scenes spanning multiple blocks, it is vital to decompose the scene into individually trained NeRFs. This decomposition decouples rendering time from scene size, enables rendering to scale to arbitrarily large environments, and allows per-block updates of the environment. We adopt several architectural changes to make NeRF robust to data captured over months under different environmental conditions. We add appearance embeddings, learned pose refinement, and controllable exposure to each individual NeRF, and introduce a procedure for aligning appearance between adjacent NeRFs so that they can be seamlessly combined. We build a grid of Block-NeRFs from 2.8 million images to create the largest neural scene representation to date, capable of rendering an entire neighborhood of San Francisco.

研究の動機と目的

• 都市規模環境のために単一の NeRF を超えるスケーラブルなニューラルレンダリングを動機づける。
• ブロック分解によって描画時間をシーンサイズからデカップリングする Block-NeRF を導入する。
• 長期キャプチャデータを扱うために、外観、ポーズの洗練、および露出条件付けを組み込む。
• 隣接する Block-NeRF を一貫したシーンに構成するための整合・マージ戦略を提案する。
• 全モデルを再訓練せずに大規模再構成と各ブロックの更新を実証する。

提案手法

• 大規模なシーンを、滑らかさのために50%の重なりを持つ街路交差点に配置した独立訓練済みの Block-NeRF に分解する。
• NeRF/mip-NeRF を外観埋め込み、ポーズの洗練、露出条件付け、瞬間物体マスキングを追加して拡張する。
• 訓練中に点が可視かどうかを予測する小さな可視性ネットワークを追加し、ブロック選択とマージを支援する。
• 対象ビューのために近傍のみの Block-NeRF をレンダリングし、逆距離加重でブレンドする。
• 隣接する Block-NeRF 間で外観コードを最適化して照明と天候条件を揃えることで外観の整合を行う。

実験結果

リサーチクエスチョン

• RQ1 Block-NeRF は複数の小さな NeRF を組み合わせて全体を再訓練せずに都市規模環境をレンダリングできるか？
• RQ2 外観、ポーズの洗練、露出条件付けは、大規模で異種のデータにわたる再構成品質にどのような影響を与えるか？
• RQ3 隣接する Block-NeRF をシームレスな大規模レンダリングのために最も適切に整列・マージする戦略は何か？
• RQ4 大規模な都市風景において、ブロックの粒度は再構成精度と推論計算量にどう影響するか？

主な発見

# ブロック	重み / 合計	サイズ	計算	PSNR ↑	SSIM ↑	LPIPS ↓
1	1.00M / 1.00M	544 m	1×	24.90	0.852	0.340
4	0.25M / 1.00M	271 m	0.5×	25.55	0.868	0.318
8	0.13M / 1.00M	116 m	0.25×	25.92	0.875	0.306
16	0.07M / 1.00M	54 m	0.125×	25.98	0.877	0.305

• 複数の Block-NeRF への分割は、単一 NeRF ベースラインより再構成指標を改善する。
• ブロック数を増やす（総ウェイト固定）と Mission Bay 実験で PSNR および SSIM が高く、LPIPS が低くなる。
• 外観埋め込みと露出条件付けは視覚的忠実度を大幅に向上させ、推論時の外観制御を可能にする。
• ポーズ洗練は結果をシャープにし、反復する物体によるゴースティングを低減する。
• 隣接ブロック間の外観整合は、ブロック全体で一貫した日夜など、一貫したシーン外観を生む。