[論文レビュー] Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction

Ziyi Yang, Xinyu Gao+4 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Vision and Imaging被引用数 13

ひとこと要約

この論文は Deformable 3D Gaussians Splatting を導入し、変形場を学習してカノニカル空間で 3D ガウスをモノキュラー動的シーンに適用することで、実時間レンダリングとより高い忠実度の再構築を可能にし、アニーリング平滑化トレーニング戦略の助けを借りて実現します。

ABSTRACT

Implicit neural representation has paved the way for new approaches to dynamic scene reconstruction and rendering. Nonetheless, cutting-edge dynamic neural rendering methods rely heavily on these implicit representations, which frequently struggle to capture the intricate details of objects in the scene. Furthermore, implicit methods have difficulty achieving real-time rendering in general dynamic scenes, limiting their use in a variety of tasks. To address the issues, we propose a deformable 3D Gaussians Splatting method that reconstructs scenes using 3D Gaussians and learns them in canonical space with a deformation field to model monocular dynamic scenes. We also introduce an annealing smoothing training mechanism with no extra overhead, which can mitigate the impact of inaccurate poses on the smoothness of time interpolation tasks in real-world datasets. Through a differential Gaussian rasterizer, the deformable 3D Gaussians not only achieve higher rendering quality but also real-time rendering speed. Experiments show that our method outperforms existing methods significantly in terms of both rendering quality and speed, making it well-suited for tasks such as novel-view synthesis, time interpolation, and real-time rendering.

研究の動機と目的

• モノキュラー動的シーン再構築において、暗黙的 NeRF ベースの手法を超える忠実度と実時間レンダリングを実現する動機づけ。
• カノニカル空間でガウスを学習し、ダイナミクスを捉える変形場を導入する deformable 3D Gaussian splatting フレームワークを提案。
• 時間補間時のポーズ不正確さを緩和するアネリング平滑化トレーニング機構を導入。
• ビュー間・時間間での効率的かつスケーラブルなレンダリングを実現する微分可能なガウシアンラスタライザを活用。

提案手法

• 動的シーンを中心、不透明度、学習可能な3D共分散を備えた3Dガウスで表現。
• Gaussian centers と time を与えると、位置・回転・スケールのオフセットを出力する変形場によって時間変化するガウスをモデル化。
• アルファブレンディングと密度適応機構を備えた微分可能ガウシアンラスタライゼーションパイプラインでレンダリング。
• カノニカル空間でガウスを学習し、変形配置へマップする変形MLPを使用；変形ネットワークの入力に位置エンコーディングを適用。
• AST（Annealing Smoothing Training）戦略を適用し、トレーニング中に時刻をエンコードしたガウスノイズを線形に減衰させて、追加オーバーヘッドなしに時間的滑らかさを向上。
• トレーニングはアルファ値を蓄積して高速なバックワードパスを実行し、ガウスと変形場を共同で最適化。安定化のためウォームアップフェーズから開始。

実験結果

リサーチクエスチョン

• RQ1 カノニカル空間で学習され、変形場と結合した deformable 3D Gaussians はモノキュラー動的シーンを正確にモデル化できるか。
• RQ2 微分可能ガウシアンラスタライザは、動的シーンの忠実度を保ちつつリアルタイムレンダリングを可能にするか。
• RQ3 アネリング平滑化トレーニング機構は、リアルワールドのモノキュラーDTデータセットで、計算コストを増加させることなく時間的ジッターとポーズ不均衡の影響を減らせるか。
• RQ4 提案手法は、合成データおよび実データに対して、レンダリング品質と速度の点で最先端の動的ニューラルレンダリング法と比較してどうか。

主な発見

• 提案する deformable 3D-GS フレームワークは、モノキュラー動的シーンに対して高いレンダリング品質と実時間レンダリング速度（RTX 3090 で 30 FPS 以上）を実現。
• カノニカル空間で変形場とともにガウスを学習することで、時間的整合性を保ちながら動的ジオメトリを効果的に処理。
• アネリング平滑化トレーニング（AST）は時間的滑らかさを改善し、追加の計算オーバーヘッドなしにポーズ誘発のジッターを低減。
• 合成データセットの D-NeRF ベースのベースラインと比較して、PSNR、SSIM、LPIPS が優れていることを定量的に示す。
• 実データセット（NeRF-DS、HyperNeRF）での実験により、ポーズ不正確さに対する頑健性を示し、高いレンダリング品質を維持。
• 深度可視化は正確な幾何再構築を示し、新規ビュー合成の信頼性を裏付け。