[論文レビュー] Streaming Radiance Fields for 3D Video Synthesis

Lingzhi Li, Zhen Shen+3 more|arXiv (Cornell University)|Oct 26, 2022

Advanced Vision and Imaging被引用数 26

ひとこと要約

StreamRFは動的シーンに対して明示的ボクセルグリッド上でのフレームごとのインクリメンタルなチューニング手法を提示し、オンラインの3Dビデオ合成を実現するとともに、訓練を高速化し競争力のあるレンダリング品質を確保しつつ、差分ベースの圧縮でストレージを削減します。

ABSTRACT

We present an explicit-grid based method for efficiently reconstructing streaming radiance fields for novel view synthesis of real world dynamic scenes. Instead of training a single model that combines all the frames, we formulate the dynamic modeling problem with an incremental learning paradigm in which per-frame model difference is trained to complement the adaption of a base model on the current frame. By exploiting the simple yet effective tuning strategy with narrow bands, the proposed method realizes a feasible framework for handling video sequences on-the-fly with high training efficiency. The storage overhead induced by using explicit grid representations can be significantly reduced through the use of model difference based compression. We also introduce an efficient strategy to further accelerate model optimization for each frame. Experiments on challenging video sequences demonstrate that our approach is capable of achieving a training speed of 15 seconds per-frame with competitive rendering quality, which attains $1000 imes$ speedup over the state-of-the-art implicit methods. Code is available at https://github.com/AlgoHunt/StreamRF.

研究の動機と目的

• 動的シーンのためのオフラインのシーケンス単位訓練ではなく、効率的でオンラインな3Dビデオ合成を動機づける。
• 各フレームのモデル差分で基底グリッドを更新するインクリメンタル学習フレームワークを開発する。
• 時系列の連続性を活用するニアロバンド・チューニングを活用して訓練負荷を低減する。
• 品質を維持しつつフレームごとのストレージを大幅に低減する差分ベースの圧縮を組み込む。
• 最適化を加速するためにパイロットモデルのガイダンスで訓練効率を向上させる。

提案手法

• 放射場表現として明示的なスパースボクセルグリッドを使用する。
• 最初のフレームでベースグリッドを訓練し、次のフレームを更新するためにフレーム間のモデル差分を学習・保存する (V^i = V^{i-1} + δ_i)。
• 表面近傍領域にアップデートを集中させるニアロバンド・チューニング戦略を導入し、変更を捉えつつほとんどのボクセルを凍結したままにする。
• マスクを介してボクセルの追加、削除、変更を追跡する差分ベースの圧縮を適用し、フレームごとのストレージを劇的に削減する。
• 前フレームのグリッドをダウンサンプリングして作成したパイロットモデルを用いてフルスケールの最適化をガイドし、訓練を安定化させる。
• 任意：小さなパイロットモデルがフルグリッドをどこ修正すべきかを示すカリキュラムのような訓練フローを使用する。

実験結果

リサーチクエスチョン

• RQ1 Can an incremental, per-frame adaptation of an explicit-grid radiance field achieve competitive rendering quality for dynamic scenes while enabling online (on-the-fly) training?
• RQ2 How much storage can be saved by difference-based compression without sacrificing rendering fidelity?
• RQ3 Does narrow-band tuning leveraging temporal continuity improve training speed and stability for streaming radiance fields?
• RQ4 Can pilot-model guidance further accelerate optimization and reduce artifacts during frame-by-frame updates?

主な発見

• Training speed per frame: about 15 seconds for tuning and 120 ms per frame for rendering at 1k resolution.
• Significant speedup over state-of-the-art implicit dynamic methods (approximately 1000x faster in training over N3DV).
• Storage reductions: difference-based compression reduces per-frame storage to roughly a few MBs (reported ~5.7 MB on average, from ~1015 MB).
• Narrow-band tuning improves convergence and rendering stability, enabling reliable handling of motion without excessive voxel updates.
• Pilot-model guidance reduces artifacts (e.g., flicker and blur) and improves fidelity compared to training the full grid without guidance.
• Achieves competitive rendering quality while maintaining lower storage and higher training efficiency than baseline explicit-grid and several implicit methods.