[論文レビュー] UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene

Jiaming Gu, Minchao Jiang+6 more|arXiv (Cornell University)|Oct 20, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

UE4-NeRFは、シーンをサブNeRFに分割し、最適化された多角形メッシュで表現し、 Unreal Engine 4のラスタライゼーションパイプラインに階層的詳細（LOD）アプローチを用いて統合する、リアルタイムで大規模なシーンレンダリングを実現するシステムを提案する。4K解像度で最大43FPSを達成しながらも、写真同等の質を維持し、インタラクティブなシーン編集を可能にする。

ABSTRACT

Neural Radiance Fields (NeRF) is a novel implicit 3D reconstruction method that shows immense potential and has been gaining increasing attention. It enables the reconstruction of 3D scenes solely from a set of photographs. However, its real-time rendering capability, especially for interactive real-time rendering of large-scale scenes, still has significant limitations. To address these challenges, in this paper, we propose a novel neural rendering system called UE4-NeRF, specifically designed for real-time rendering of large-scale scenes. We partitioned each large scene into different sub-NeRFs. In order to represent the partitioned independent scene, we initialize polygonal meshes by constructing multiple regular octahedra within the scene and the vertices of the polygonal faces are continuously optimized during the training process. Drawing inspiration from Level of Detail (LOD) techniques, we trained meshes of varying levels of detail for different observation levels. Our approach combines with the rasterization pipeline in Unreal Engine 4 (UE4), achieving real-time rendering of large-scale scenes at 4K resolution with a frame rate of up to 43 FPS. Rendering within UE4 also facilitates scene editing in subsequent stages. Furthermore, through experiments, we have demonstrated that our method achieves rendering quality comparable to state-of-the-art approaches. Project page: https://jamchaos.github.io/UE4-NeRF/.

研究の動機と目的

• 大規模なシーンにおける従来のNeRF手法のリアルタイムレンダリング能力の欠如に対処すること。
• 大規模な環境におけるNeRFの学習および推論における計算ボトルネックを克服すること。
• ゲームエンジン環境内でのインタラクティブなシーン編集および操作を可能にすること。
• 最適化されたメッシュ表現とレンダリングパイプライン統合を通じて、リアルタイムパフォーマンスを維持しながら高い視覚的忠実度を実現すること。

提案手法

• 計算負荷を軽減し、分散学習を可能にするために、大規模なシーンをサブNeRFに分割する。
• 正八面体を用いて多角形メッシュを初期化し、学習中に頂点位置を最適化することで、より良い幾何的整合性を実現する。
• インスタント-NGPからのマルチスケールハッシュ符号化を採用し、NeRFの学習を高速化し収束性を向上させる。
• 特徴ベクトルを色および不透明度にマップする神経的HLSLフラグメントシェーダーを用いて、NeRFの出力をUE4のラスタライゼーションパイプラインに統合する。
• 視認距離が遠いほど粗いメッシュを用いることで、リアルタイムフレームレートを維持するためのレベルオブディテイル（LOD）戦略を実装する。
• 学習および推論の両方でCUDA加速を活用することで、Mobile-NeRFに比べ1000倍の高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 NeRFベースの再構築は、大規模で複雑なシーンのリアルタイムレンダリングに適応可能か？
• RQ2 大規模な環境におけるNeRFの学習および推論の計算コストは、どのようにして低減可能か？
• RQ3 暗黙的NeRF表現と明示的メッシュベースレンダリングを組み合わせたハイブリッドアプローチは、リアルタイムパフォーマンスを達成可能か？
• RQ4 シーン編集およびオブジェクトコンポジションは、どの程度NeRFベースのレンダリングパイプラインにシームレスに統合可能か？
• RQ5 LODベースのメッシュ表現は、異なる視認距離におけるレンダリング品質およびフレームレートにどのような影響を与えるか？

主な発見

• UE4-NeRFは、UE4のラスタライゼーションパイプラインを用いて、4K解像度で最大43FPSのリアルタイムレンダリングを実現した。
• 本手法は写真同等のレンダリング品質を示し、特に複雑なテクスチャや半透明素材において、Mobile-NeRFやMega-NeRFを上回るシャープネスと詳細度を達成した。
• LODベースのメッシュ表現により、異なる視認距離において一貫したフレームレートが維持され、高所での視認では粗いメッシュが使用されてパフォーマンスが保たれた。
• UE4におけるシーン編集はシームレスである：ユーザーは標準的な3Dモデル（例：.obj, .fbx）をインポート・操作可能で、自動的な隠れ線処理が行われ、オブジェクト追加後にフレームレートが向上した。
• UE4-NeRFの学習速度は、最適化されたCUDA実装とマルチスケール符号化のおかげで、Mobile-NeRFに比べ1000倍高速であった。
• 事前レンダリング時のレイのキャプチャの課題にもかかわらず、本システムは穴がほとんどない高品質なメッシュを生成し、学習中の頂点最適化により幾何的正確性が向上した。