[論文レビュー] NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing

Jiakai Zhang, Liao Wang+8 more|arXiv (Cornell University)|Feb 12, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

NeuVVは、写真のようにリアルな表現を実現する、インタラクティブで空間的・時間的レンダリングおよび編集が可能なリアルタイムなニューラルボリューメトリックビデオフレームワークを提供する。動的レイトランスフィールドをハイパースフェリカルハーモニクスと学習可能なベース表現を用いて因子分解し、Video Octree (VOctree) 内で処理することで、学習速度が2桁速くなり、メモリのオーバーヘッドも削減され、リアルタイムなVRレンダリングと再タイミング、再配置、照明効果などの動的コンテンツ編集が可能になる。

ABSTRACT

Some of the most exciting experiences that Metaverse promises to offer, for instance, live interactions with virtual characters in virtual environments, require real-time photo-realistic rendering. 3D reconstruction approaches to rendering, active or passive, still require extensive cleanup work to fix the meshes or point clouds. In this paper, we present a neural volumography technique called neural volumetric video or NeuVV to support immersive, interactive, and spatial-temporal rendering of volumetric video contents with photo-realism and in real-time. The core of NeuVV is to efficiently encode a dynamic neural radiance field (NeRF) into renderable and editable primitives. We introduce two types of factorization schemes: a hyper-spherical harmonics (HH) decomposition for modeling smooth color variations over space and time and a learnable basis representation for modeling abrupt density and color changes caused by motion. NeuVV factorization can be integrated into a Video Octree (VOctree) analogous to PlenOctree to significantly accelerate training while reducing memory overhead. Real-time NeuVV rendering further enables a class of immersive content editing tools. Specifically, NeuVV treats each VOctree as a primitive and implements volume-based depth ordering and alpha blending to realize spatial-temporal compositions for content re-purposing. For example, we demonstrate positioning varied manifestations of the same performance at different 3D locations with different timing, adjusting color/texture of the performer's clothing, casting spotlight shadows and synthesizing distance falloff lighting, etc, all at an interactive speed. We further develop a hybrid neural-rasterization rendering framework to support consumer-level VR headsets so that the aforementioned volumetric video viewing and editing, for the first time, can be conducted immersively in virtual 3D space.

研究の動機と目的

• メタバースアプリケーション向けに、リアルタイムで写真のようにリアルな没入型ボリューメトリックビデオレンダリングを実現すること。
• 従来のメッシュやポイントクラウド表現が、動的シーン再構築において膨大な手作業のクリーニングを要するという制限を克服すること。
• 再配置、再タイミング、照明効果の適用といった、空間的・時間的編集をリアルタイムで可能にするボリューミックビデオコンテンツのインタラクティブ編集を支援すること。
• 効率的な因子分解とオクトリーベースの符号化を用いて、動的NeRFベースの表現におけるメモリおよび学習のオーバーヘッドを低減すること。
• ハイブリッドニューラルラスタライゼーションレンダリングパイプラインを介して、コンsumerレベルのVRヘッドセットへのデプロイを可能にすること。

提案手法

• NeuVVは、3次元位置、視線方向、時間を色と密度にマップする6次元レイトランスフィールドとして動的シーンをモデル化する。
• ボリューム全体の滑らかな空間的・時間的色の変化をモデル化するために、ハイパースフェリカルハーモニクス（HH）分解を採用する。
• 動きに起因する密度および色の急激な変化を捉えるために、学習可能なベース表現を導入し、時間的コンパクト化を実現する。
• 因子化された表現を、PlenOctreeに類似した効率的でリアルタイムレンダリングとメモリ削減を可能にするVideo Octree（VOctree）に統合する。
• コンsumerレベルのVRヘッドセットでの低遅延で没入型レンダリングを可能にする、ハイブリッドニューラルラスタライゼーションレンダリングフレームワークを開発する。
• VOctreeプリミティブのボリュームベースの深度順序とアルファブレンドを用いたコンテンツ編集を可能にし、位置、スケール、タイミング、外観のリアルタイムな操作を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルレイトランスフィールド表現を、動的ボリューミックビデオのリアルタイムレンダリングおよび編集を可能にするように、効率的に因子化できるか？
• RQ2 ニューラルボリューミック表現内において、滑らかでない色および密度の変化（運動に起因するもの）を別々に効果的にモデル化できるか？
• RQ3 VOctreeベースの構造は、標準のNeRFと比較して顕著な高速化とメモリ節約を達成できるか、かつ写真のようにリアルな表現を維持できるか？
• RQ4 ニューラル表現を用いて、3次元空間におけるボリューミックビデオコンテンツのインタラクティブで没入型の編集が可能か？
• RQ5 このフレームワークは、コンsumerレベルのVRハードウェアにデプロイ可能で、リアルタイムで没入型の視聴および編集を可能にするか？

主な発見

• NeuVVは、VRヘッドセットを用いた3次元シーンの自由なナビゲーションを可能にする、リアルタイムのレンダリングとインタラクティブな編集を実現した。
• ハイパースフェリカルハーモニクスと学習可能なベースを用いた因子化により、標準の動的NeRFと比較して、メモリオーバーヘッドと学習時間が2桁減少した。
• VOctree表現により、効率的でリアルタイムのレンダリングが可能となり、空間的・時間的コンポジションのためのボリュームベースの深度順序とアルファブレンドを実現した。
• 再配置、タイミング調整、パフォーマンスの複製、スポットライトや距離減衰効果を含む動的照明効果の適用を含む、多様なインタラクティブ編集操作をサポートした。
• ハイブリッドニューラルラスタライゼーションパイプラインにより、コンsumerレベルのVRヘッドセットでも没入型レンダリングが可能となり、仮想環境におけるリアルタイムボリューミックビデオ編集の実現が可能になった。
• 現時点において、NeuVVは、完全に没入型の3次元環境でリアルタイムレンダリングとインタラクティブ編集をサポートする最初のニューラルベースのボリューミックビデオフレームワークである。