[論文レビュー] DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes

Jiawei Liu, Yan‐Pei Cao+7 more|arXiv (Cornell University)|May 31, 2022

Advanced Vision and Imaging被引用数 49

ひとこと要約

DeVRFは、3Dカノニカル空間と4D変形場を学習する変形可能なボクセル放射場を導入し、同等の品質で動的シーンの学習を約100×高速化します。静的→動的学習パラダイムと、いくつかの正則化項を用いた粗・細分解最適化を採用します。

ABSTRACT

Modeling dynamic scenes is important for many applications such as virtual reality and telepresence. Despite achieving unprecedented fidelity for novel view synthesis in dynamic scenes, existing methods based on Neural Radiance Fields (NeRF) suffer from slow convergence (i.e., model training time measured in days). In this paper, we present DeVRF, a novel representation to accelerate learning dynamic radiance fields. The core of DeVRF is to model both the 3D canonical space and 4D deformation field of a dynamic, non-rigid scene with explicit and discrete voxel-based representations. However, it is quite challenging to train such a representation which has a large number of model parameters, often resulting in overfitting issues. To overcome this challenge, we devise a novel static-to-dynamic learning paradigm together with a new data capture setup that is convenient to deploy in practice. This paradigm unlocks efficient learning of deformable radiance fields via utilizing the 3D volumetric canonical space learnt from multi-view static images to ease the learning of 4D voxel deformation field with only few-view dynamic sequences. To further improve the efficiency of our DeVRF and its synthesized novel view's quality, we conduct thorough explorations and identify a set of strategies. We evaluate DeVRF on both synthetic and real-world dynamic scenes with different types of deformation. Experiments demonstrate that DeVRF achieves two orders of magnitude speedup (100x faster) with on-par high-fidelity results compared to the previous state-of-the-art approaches. The code and dataset will be released in https://github.com/showlab/DeVRF.

研究の動機と目的

• 非剛性の動的シーンに対する高速で写真リアルな新視点合成を動機づける。
• 3Dカノニカル空間と4D変形場の両方に対するボクセルベースの表現を提案する。
• 静的→動的学習パラダイムが少数視の動的シーンで訓練効率を向上させることを示す。
• 動的放射場の再構成忠実度を高め、過学習を防ぐための最適化戦略を開発する。
• 実用的なキャプチャ設定で合成および実世界の動的シーンにおいて顕著な訓練スピードアップを実証する。

提案手法

• 複数視点の静止画像から学習した3D体積カノニカル空間（密度と色のボクセル）でシーンをモデル化する。
• 運動を4Dボクセル変形場で表現し、動的点をカノニカル空間へ写像するために4重補間を行う。
• 3Dカノニカル事前知識を4D変形場へ移すため、静的→動的学習パラダイムを採用する。
• 4D変形場に対して粗〜細の訓練戦略を用い、最適化効率を向上させる。
• 変形サイクルの一貫性、オプティカルフローの監視、総変動正則化を課すことで忠実度と安定性を向上させる。
• フォトメトリックレンダリング損失に加えて補助損失で運動を正規化し滑らかさを保証して訓練する。

実験結果

リサーチクエスチョン

• RQ1 静的カノニカル事前知識は動的シーンの変形可能放射場の学習を加速できるか。
• RQ2 多くのパラメータを持つ4Dボクセル変形場を過剰適合なしに効率的に学習するにはどうするか。
• RQ3 動的 NeRF の訓練速度と再構成忠実度の最適なバランスを取るための最適化戦略は何か。

主な発見

• DeVRFは最先端手法と比較して約100×の訓練速度を達成しつつ、同等の高忠実度を提供する。
• 4カメラキャプチャ設定を用い、単一の RTX 3090 GPU で訓練を約10分で完了できる。
• 静的なマルチビュー データから学習した3D体積カノニカル空間は、4Dボクセル変形を学習する際の有効な事前知識として機能する。
• 粗〜細最適化と変形サイクル一貫性、オプティカルフロー監視、TV正則化を組み合わせることで、効率と品質が大幅に向上する。
• DeVRFは、合成の内向きシーンおよびさまざまな変形タイプを持つ実世界の変形可能シーンで高い性能を示す。