[論文レビュー] MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes

Christian Reiser, Richard Szeliski+6 more|arXiv (Cornell University)|Feb 23, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

MERFは、メモリ効率の良いレイトランスフィールド表現を導入し、Webブラウザ上で直接、大規模かつ非有界なシーンのリアルタイムで写真のような視覚合成を可能にする。スパースな3次元特徴グリッドと高解像度の2次元特徴プレーンを組み合わせ、非有界空間のための新しい収縮関数を用いることで、従来のリアルタイム手法よりも高速なレンダリングと5倍の低いメモリ使用量を実現しながら、最適化されたニューラル表現からの損失なしのベーキング手順により高い画像品質を維持する。

ABSTRACT

Neural radiance fields enable state-of-the-art photorealistic view synthesis. However, existing radiance field representations are either too compute-intensive for real-time rendering or require too much memory to scale to large scenes. We present a Memory-Efficient Radiance Field (MERF) representation that achieves real-time rendering of large-scale scenes in a browser. MERF reduces the memory consumption of prior sparse volumetric radiance fields using a combination of a sparse feature grid and high-resolution 2D feature planes. To support large-scale unbounded scenes, we introduce a novel contraction function that maps scene coordinates into a bounded volume while still allowing for efficient ray-box intersection. We design a lossless procedure for baking the parameterization used during training into a model that achieves real-time rendering while still preserving the photorealistic view synthesis quality of a volumetric radiance field.

研究の動機と目的

• 最小限のメモリで、大規模かつ非有界なシーンのリアルタイムで写真のような視覚合成を可能にすること。
• ニューラルレイトランスフィールドにおけるメモリ効率とレンダリング速度のトレードオフを解消すること。
• Webブラウザやモバイルデバイスなどのリソース制限のある環境での実用的デプロイメントを可能にすること。
• 最適化からリアルタイム推論への移行時に、損失なしのベーキング手順により高いレンダリング品質を維持すること。
• 非有界なシーンにスケーラブルなボリュメトリックレイトランスフィールドを、レイトランスフィールドの効率的なレイボックスインタクションを維持する新しい収縮関数を用いて実現すること。

提案手法

• 低解像度の3次元スパース特徴グリッドと高解像度の2次元特徴プレーンを組み合わせたハイブリッドパラメータライゼーションを用いて、メモリ消費量を低減する。
• 非有界なシーン座標を有界な体積にマップする新しい収縮関数を導入し、効率的なレイボックスインタクションを維持する直線的な幾何構造を保つ。
• 最適化段階では、微分可能なスパース化と勾配ベースの学習にNGPハッシュグリッドを用いる。
• 最適化後、表現は損失なしのベーキングによりバイナリーオンリゲーショングリッドと2次元特徴プレーンのセットに変換され、高速な推論が可能になる。
• ベーキングされたモデルは、Web環境でのリアルタイムレンダリングと互換性のある視点依存型MLPを用いて外観モデリングを行う。
• パイプライン全体で、最終的なベーキング済みモデルが最適化されたものと同じ基本的なレイトランスフィールドを表すことを保証し、画像品質を維持する。

Figure 1 . Our method, MERF , allows for real-time view synthesis in the browser (framerates shown here are measured on a Macbook Pro M1). We design a volumetric scene representation that is first optimized to maximize rendering quality and then losslessly baked into a more efficient format for fast

実験結果

リサーチクエスチョン

• RQ1 ニューラルレイトランスフィールド表現を、非有界なシーンにおいても、メモリ効率的かつリアルタイムレンダリングに適した形にできるか？
• RQ2 リアルタイム推論時にレンダリング品質を損なわず、ボリュメトリック表現を圧縮できるか？
• RQ3 非有界座標を有界空間にマップする収縮関数を設計でき、レイマーチングに適した幾何的忠実度を維持できるか？
• RQ4 高品質で最適化されたレイトランスフィールドを、より高速かつコンactな形に損失なしで変換できるか？
• RQ5 同じメモリ予算下で、提案手法は既存のリアルタイムNeRFバリアントと比べて、速度、メモリ使用量、画像品質の点でどの程度優れているか？

主な発見

• MERFはM1 MacBook Proで1280×720解像度で28.3 FPSを達成し、SNeRG++（18.7 FPS）を上回り、MobileNeRF（65.7 FPS）よりも高い画像品質を維持しながら、わずか524 MBのVRAMを使用する。
• MERFは524 MBのVRAMにまでメモリ消費量を削減し、SNeRG++の4571 MBの五分の一未満に抑えながら、PSNRとSSIM性能を同等または上回る。
• RTX 3090 GPUで1920×1080解像度でMERFは119 FPSを達成し、4 FPSでの動作しかしないInstant-NGPを大きく上回る。
• 屋外シーンにおいて、MERFはMobileNeRFよりも31.6％（MSE換算）のPSNR向上を達成し、GPUメモリの半分未満で運用している。
• 損失なしのベーキング手順によりレンダリング品質が維持され、最適化済みモデルとベーキング済みモデルのPSNR差はわずか0.01（23.20 vs. 23.19）にとどまる。
• 提案された収縮関数は、球面収縮と同等の画像品質（PSNR 23.22 vs. 23.20）を達成しながら、レイ-AABBインタクションテストをより高速に実行できる。

Figure 2 . Our scene representation. For a location $\mathbf{x}$ along a ray: (1) We query its eight neighbors on a low-resolution 3D grid; and we project it onto each of the three axis-aligned planes, and then query each projection’s four neighbors on a high-resolution 2D grid. (2) The eight low-re