[論文レビュー] Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time

Liao Wang, Jiakai Zhang+7 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文では、マルチビュー動画シーケンスからリアルタイムで高精細なレンダリングが可能な新規ニューラル表現であるFourier PlenOctrees (FPO) を提案する。一般化NeRF、PlenOctreeデータ構造、ボリュメトリックフュージョン、時間変動色および密度のフーリエ符号化を組み合わせることで、元のNeRFに比べ3000倍の高速化を達成し、SOTA手法よりも10倍以上高速な推論を実現するとともに、効率的なファインチューニングとコンactメモリ使用を可能にする。

ABSTRACT

Implicit neural representations such as Neural Radiance Field (NeRF) have focused mainly on modeling static objects captured under multi-view settings where real-time rendering can be achieved with smart data structures, e.g., PlenOctree. In this paper, we present a novel Fourier PlenOctree (FPO) technique to tackle efficient neural modeling and real-time rendering of dynamic scenes captured under the free-view video (FVV) setting. The key idea in our FPO is a novel combination of generalized NeRF, PlenOctree representation, volumetric fusion and Fourier transform. To accelerate FPO construction, we present a novel coarse-to-fine fusion scheme that leverages the generalizable NeRF technique to generate the tree via spatial blending. To tackle dynamic scenes, we tailor the implicit network to model the Fourier coefficients of timevarying density and color attributes. Finally, we construct the FPO and train the Fourier coefficients directly on the leaves of a union PlenOctree structure of the dynamic sequence. We show that the resulting FPO enables compact memory overload to handle dynamic objects and supports efficient fine-tuning. Extensive experiments show that the proposed method is 3000 times faster than the original NeRF and achieves over an order of magnitude acceleration over SOTA while preserving high visual quality for the free-viewpoint rendering of unseen dynamic scenes.

研究の動機と目的

• マルチビュー動画入力からリアルタイムで、写真同等の自由視点レンダリングが可能な動的シーンの実現。
• 非剛体で動的な物体に対して遅すぎたり一般化性に欠ける既存のニューラルレンダリング手法の限界を克服すること。
• 動的シーンモデリングにおける高視覚的品質を維持しつつ、メモリオーバーヘッドとトレーニング時間を削減すること。
• 再トレーニングから始めずとも、新しい動的シーンに対して効率的なファインチューニングを可能とすること。
• VR、AR、没入型テレビ会議応用に適したスケーラブルでコンパクトなニューラル表現の開発。

提案手法

• 一般化NeRFを活用した粗〜細粒度のフュージョンスキームにより、スパarselyビューのレンダリングと空間ブレンドを用いて、マルチビュー画像から迅速にPlenOctreeを生成する。
• 全動的シーケンス全体のスパatiotemporalジオメトリとアピアランスを表現するため、ユニオンPlenOctreeを構築する。
• 時間変動する密度と色を時間領域におけるフーリエ係数としてモデル化し、コンパクトで周波数ベースの表現を可能にする。
• 暗黙のネットワークをユニオンPlenOctreeのリーフに直接トレーニングし、プレノプティック関数のフーリエ係数を予測する。
• 高周波数のフーリエベースを除外することで、ストレージを削減しながらも知覚的詳細を維持する。
• 空間ブレンドを組み込んだ新規なボリュメトリックフュージョン戦略により、数分で高速かつ正確なPlenOctree構築が可能になる。

Figure 1 : Our method achieves a photo-realistic rendered result for dynamic scenes in real-time based on our novel Fourier PlenOctree structure.

実験結果

リサーチクエスチョン

• RQ1 高視覚的忠実度を維持しつつ、リアルタイムレンダリングが可能なニューラル表現を設計できるか？
• RQ2 時間変動属性のフーリエ符号化は、ニューラルラジアンスフィールドにおけるメモリ効率とレンダリング速度をどのように向上させるか？
• RQ3 一般化NeRFに基づく粗〜細粒度のフュージョンパイプラインは、動的シーンのPlenOctree構築をどのように高速化できるか？
• RQ4 動的シーンモデリングにおいて、最適なフーリエ次元数、ストレージ、レンダリング品質のトレードオフは何か？
• RQ5 ファインチューニングはレンダリング品質をどの程度向上させ、収束はどのくらいの速さで達成できるか？

主な発見

• FPOは、元のNeRF実装に比べ3000倍の高速化を達成し、動的シーンのリアルタイムレンダリングを実現した。
• フーリエ次元数 n₁=31、n₂=5 を使用した場合、117.87 FPS で PSNR 36.21 を達成し、品質・速度・メモリのバランスが取れている。
• 10分間のファインチューニングでほぼ最適な視覚的品質が得られ、10時間以上のトレーニング後には顕著な改善が見られなかった。
• 限られたメモリ（7.25 GB）を用いたDFTでは、非DFT手法に比べ優れた性能を発揮し、PSNR 36.21 対 32.15 および 25.97 を達成した。
• FPOモデルはわずか7.25 GBのストレージで、最小限のファインチューニング時間でリアルタイムレンダリングを可能とし、メモリ制限あり・なしの両方のベースラインを上回った。
• 本手法は効率的なファインチューニングとコンパクトなメモリオーバーヘッドを実現しており、VR/ARおよびテレプレセンスにおける動的シーンレンダリングに適している。

Figure 2 : Illustration of our fast PlenOctree generation for static scene and fast Fourier PlenOctree generation for dynamic scene. (a) illustrates how to generate a PlenOctree from multiview images. Given these images, a generalized NeRF $\Psi$ predicts view-dependent density $\sigma$ and color $\