[論文レビュー] NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields

Liangchen Song, Anpei Chen+6 more|arXiv (Cornell University)|Oct 28, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

NeRFPlayerは、自己教師付き分解フィールドを用いて4次元時空間を静的・変形・新規領域に分解することで、ストリーミング可能で効率的かつインタラクティブなレンダリングが可能な動的シーン表現を実現した。ハイブリッドニューラル表現におけるスライディングウィンドウ方式により、低ビットレートでのストリーミングが可能で、単一・複数カメラ入力においても、最先端の品質で1フレーム10秒の再構成とリアルタイムレンダリングを達成した。

ABSTRACT

Visually exploring in a real-world 4D spatiotemporal space freely in VR has been a long-term quest. The task is especially appealing when only a few or even single RGB cameras are used for capturing the dynamic scene. To this end, we present an efficient framework capable of fast reconstruction, compact modeling, and streamable rendering. First, we propose to decompose the 4D spatiotemporal space according to temporal characteristics. Points in the 4D space are associated with probabilities of belonging to three categories: static, deforming, and new areas. Each area is represented and regularized by a separate neural field. Second, we propose a hybrid representations based feature streaming scheme for efficiently modeling the neural fields. Our approach, coined NeRFPlayer, is evaluated on dynamic scenes captured by single hand-held cameras and multi-camera arrays, achieving comparable or superior rendering performance in terms of quality and speed comparable to recent state-of-the-art methods, achieving reconstruction in 10 seconds per frame and interactive rendering.

研究の動機と目的

• 単一または少数のRGBカメラからの入力のみを用いて、VRにおけるリアルタイムでインタラクティブな3次元シーン探索を可能にすること。
• 動的シーン再構築における疎な監視と変動する時間周波数の課題に対処すること。
• 低ビットレートかつ高品質なコンパクトでストリーミング可能な動的シーンレンダリングをサポートすること。
• 統一されたニューラル表現内で、静的・変形・新規領域という多様な時間的ダイナミクスをモデル化すること。
• ハイブリッド表現とスライディングウィンドウによる特徴管理を用いて、効率的で設定可能なNeural Radiance Fieldsのストリーミングを可能にすること。

提案手法

• ポイントワイドな分解フィールドを用いて、4次元時空間を静的・変形・新規領域の3カテゴリに分解し、カテゴリ確率を予測する。
• 局所的単純性損失で正則化された自己教師付き分解フィールドを導入し、誤った新規領域予測を抑制する。
• 時間依存の特徴チャネルを効率的にモデル化するため、ハイブリッドニューラル表現（例：TensoRF-CP/VM）にスライディングウィンドウ方式を適用する。
• 空間的特徴ボリュームを時間的に依存するものとして扱い、隣接フレーム間の重複チャネルによって時間情報を符号化する。
• 学習可能な特徴グリッドを用いたハイブリッド表現により、設定可能なビットレートで高速レンダリングとストリーミングを実現する。
• 1フレームあたりの新規特徴チャネル数（k）を調整することで、ストリーミングを設定可能にし、ビットレートと品質のトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 疎な視点条件下でも、動的シーンが静的・変形・新規領域に効果的に分解可能であり、再構築品質が向上するか？
• RQ2 時間的ダイナミクスを分解によって分離することで、単一カメラ設定下でのレンダリング品質と一般化性能が向上するか？
• RQ3 スライディングウィンドウによる特徴ストリーミング方式が、低ビットレートかつインタラクティブな動的シーンレンダリングを可能にするか？
• RQ4 分解に基づく正則化は、カメラアレイで撮影された大規模な動きを伴うシーンにおいて、性能にどのように影響を与えるか？
• RQ5 このフレームワークは、最小限の遅延と高い視覚的忠実度を実現するストリーミングをどの程度サポートできるか？

主な発見

• NeRFPlayerは、単一カメラおよび複数カメラデータセットの両方で、1フレーム10秒の再構築とインタラクティブレンダリングを達成した。
• TensoRF-CPを用いた場合、k=16.00で1フレームあたり0.333 MBのビットレートでPSNRが25.885、SSIMが0.857を達成した。
• TensoRF-VMを用いることで、17.112 MB/フレームのビットレートでPSNRが26.203、SSIMが0.878にまで向上し、高ビットレートでの顕著な性能向上が確認された。
• アブレーションスタディにより、単一カメラデータでは3つの領域すべてのモデル化が不可欠であり、大規模な動きを伴うシーンでは変形モデリングの重要性が裏付けられた。
• フレームワークは、ビットレートを0.041 MB/フレーム（k=0.50）から17.112 MB/フレーム（k=1.00）まで設定可能であり、柔軟なストリーミング構成が可能である。
• 露出の変動などの異なる撮影条件下では、モデルが訓練視点に過剰適合し、失敗を示した。これは、非一様なカメラ応答に対処できないという限界を示している。