[論文レビュー] Immersive Neural Graphics Primitives

Ke Li, Tim Rolff+5 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

本論文では、Unityと統合されたリアルタイムで写真のようにリアルなVRレンダリングを可能にする、最初のオープンソースNeRFベースのフレームワークであるimmersive-ngpを提示する。instant-NGPとDLSSを活用することで、1眼あたり1280×720解像度で30 fpsを達成し、複雑な現実世界のシーンを低遅延性能で自由視点で探索可能なインマーシブVR環境を実現する。

ABSTRACT

Neural radiance field (NeRF), in particular its extension by instant neural graphics primitives, is a novel rendering method for view synthesis that uses real-world images to build photo-realistic immersive virtual scenes. Despite its potential, research on the combination of NeRF and virtual reality (VR) remains sparse. Currently, there is no integration into typical VR systems available, and the performance and suitability of NeRF implementations for VR have not been evaluated, for instance, for different scene complexities or screen resolutions. In this paper, we present and evaluate a NeRF-based framework that is capable of rendering scenes in immersive VR allowing users to freely move their heads to explore complex real-world scenes. We evaluate our framework by benchmarking three different NeRF scenes concerning their rendering performance at different scene complexities and resolutions. Utilizing super-resolution, our approach can yield a frame rate of 30 frames per second with a resolution of 1280x720 pixels per eye. We discuss potential applications of our framework and provide an open source implementation online.

研究の動機と目的

• NeRFベースの3Dシーン再構築とインマーシブVRの間のギャップを埋め、VR環境内でのリアルタイムで高精細なレンダリングを可能にすること。
• シーンの複雑さや解像度の変化に伴う、NeRFレンダリングのVR上でのパフォーマンス（特にフレームレートと遅延）を評価すること。
• ステレオレンダリング、6自由度（DoF）ナビゲーション、動的シーン調整をサポートする完全統合型のオープンソースソリューションを提供すること。
• 特別なハードウェアや膨大な後処理を必要とせず、制限のない2D画像からリアルワールドシーンの迅速なデジタル化を可能にすること。

提案手法

• 効率的なNeRFトレーニングと推論を実現するため、マルチスケールハッシュエンコーディングを用いてinstant-NGPフレームワークを改変した。
• ネイティブプラグインを介してUnityにNeRFバックエンドを統合し、VR入力とレンダリングの間でリアルタイム通信を可能にした。
• 高解像度でのフレームレート向上を図るため、ディープラーニングスーパーサンプリング（DLSS）を活用した。
• VR HMDの両目用に同時に2つの高解像度NeRFビューをレンダリングすることで、ステレオレンダリングを実現した。
• HMDのトラッキングデータに基づく動的ビュー行列計算により、自由視点探索を可能にした。
• 手動によるバウンディングボックス調整と6-DoFシーン操作を提供し、ユーザーの操作性とシーン探索性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 標準的なゲームエンジン（Unityなど）を用いたインマーシブVR環境において、NeRFベースのシーン表現を効率的にリアルタイムレンダリングできるか？
• RQ2 シーンの複雑さとレンダリング解像度が、NeRFベースのVRレンダリングにおけるフレームレートと遅延にどのように影響するか？
• RQ3 DLSSは、高解像度NeRFレンダリングにおけるフレームレートを、視覚的忠実度を損なわずにどの程度向上できるか？
• RQ4 NeRFベースのVRレンダリングにおけるパフォーマンスボトルネックは何か。また、現在のGPU能力と最適化技術を活用することで、それらをどのように緩和できるか？
• RQ5 伝統的な3D再構築手法と比較して、NeRFをVRパイプラインに統合する方法は、速度、品質、使いやすさの観点でどのように異なるか？

主な発見

• DLSSを活用した場合、1眼あたり2560×1440解像度で、Legoシーンにおいて安定した平均フレームレートが30 fpsを超えた。
• 最低解像度（320×240）では、DLSSを有効にした場合、フレームタイムが30 ms未満となり、フレームレートは38 fpsを超えた。
• 解像度が上昇し、シーンの複雑さが増すと、フレームレートは低下し、フレームタイムは延長した。特に中規模および大規模なシーンで顕著に顕われた。
• DLSSの導入により、高解像度下でのパフォーマンスが顕著に向上し、中規模および大規模なシーンでも20 fpsを達成可能となり、リアルタイムレンダリングが現実可能となった。
• 本システムは、特に小規模で複雑さの少ないシーンでは、NeRFベースのシーンが低遅延でリアルタイムレンダリング可能であることを示した。
• 現在の実装ではネイティブな物理的相互作用やコリジョン検出が欠如しており、VR内でのオブジェクト操作や移動が制限されている。これは今後の研究における重要な課題である。