[論文レビュー] DreamGaussian4D: Generative 4D Gaussian Splatting

Jiawei Ren, Liang Pan+5 more|arXiv (Cornell University)|Dec 28, 2023

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

DreamGaussian4D は、空間変換を明示的にモデル化することで最適化時間を数分に短縮する効率的な 4D コンテンツ生成フレームワークを導入した。4D ガウススプラッティングを用い、ドライブビデオを用いた制御可能な 3D 動作生成を可能にするとともに、実世界の 3D エンジン互換性を実現するためのビデオ間テクスチャ精錬によりメッシュ品質を向上させた。

ABSTRACT

4D content generation has achieved remarkable progress recently. However, existing methods suffer from long optimization times, a lack of motion controllability, and a low quality of details. In this paper, we introduce DreamGaussian4D (DG4D), an efficient 4D generation framework that builds on Gaussian Splatting (GS). Our key insight is that combining explicit modeling of spatial transformations with static GS makes an efficient and powerful representation for 4D generation. Moreover, video generation methods have the potential to offer valuable spatial-temporal priors, enhancing the high-quality 4D generation. Specifically, we propose an integral framework with two major modules: 1) Image-to-4D GS - we initially generate static GS with DreamGaussianHD, followed by HexPlane-based dynamic generation with Gaussian deformation; and 2) Video-to-Video Texture Refinement - we refine the generated UV-space texture maps and meanwhile enhance their temporal consistency by utilizing a pre-trained image-to-video diffusion model. Notably, DG4D reduces the optimization time from several hours to just a few minutes, allows the generated 3D motion to be visually controlled, and produces animated meshes that can be realistically rendered in 3D engines.

研究の動機と目的

• 従来の 4D 生成手法における長時間の最適化時間、限られた運動制御性、低品質な詳細度の問題を解決すること。
• 4D ガウススプラッティングにおける空間変換の明示的モデリングを活用し、動的最適化を簡素化し、トレーニングを高速化すること。
• スコア分散に依存するのではなく、画像条件付きの生成ドライブビデオから運動を学習することで、柔軟で多様な 3D 動作制御を可能にすること。
• ビデオ間テクスチャ精錬パイプラインを用いて時間的整合性とメッシュ品質を向上させ、デプロイ可能なアニメーションメッシュを実現すること。
• 3D レンダリングエンジンと互換性がある高品質で時間的に整合性のあるアニメーションメッシュをエクスポートすることで、実世界への応用を促進すること。

提案手法

• まず、多視点再構築を向上させるとともに背景アーチファクトを解消する、DreamGaussianHD と呼ばれる最適化レシピを改良して、静的 3D ガウススプラッティングモデルを訓練する。
• 静的モデルからのドリフトを防ぎ、安定した収束を確保するため、動的最適化にゼロ初期化を導入する。
• ドライブビデオから学習した変形ネットワークにより、時間依存の変形（位置、スケール、回転）を学習する。このドライブビデオは、画像から動画への拡散モデルから生成される。
• 各フレームのテクスチャマップを向上させ、時間的整合性を高め、ちらつきを低減するために、ビデオ間拡散パイプラインを用いる。
• 最適化された 4D ガウススプラッティング表現をアニメーションメッシュシーケンスにエクスポートし、後続の 3D エンジン統合を可能にする。
• マルチステージ最適化戦略を採用する：静的 3D GS（500 イテレーション）、動的 4D GS（200 イテレーション）、およびオプションのメッシュ精錬（50 イテレーション）を、1 枚の A100 GPU 上で実行する。

実験結果

リサーチクエスチョン

• RQ1 ガウススプラッティングにおける空間変換の明示的モデリングは、暗黙的表現と比較して、4D 生成における最適化時間を顕著に短縮できるか？
• RQ2 生成ドライブビデオからの運動は、動画拡散モデルからのスコア分散に比べ、より優れた制御性と多様性を提供できるか？
• RQ3 ビデオ間テクスチャ精錬は、フレーム単位の最適化と比較して、エクスポートされたアニメーションメッシュの時間的整合性を向上させられるか？
• RQ4 ゼロ初期化は、動的 4D ガウススプラッティング最適化におけるドリフトをどれほど効果的に防止し、安定性を向上させられるか？
• RQ5 フルパイプラインは、実世界の 3D エンジンへのデプロイに適した高精細でメッシュ互換性のある 4D コンテンツを生成できるか？

主な発見

• DreamGaussian4D は最適化時間を MAV3D の 6.5 時間からわずか 6.5 分に短縮し、12,000 イテレーションの先行研究と比較して 700 イテレーションで 60 倍の高速化を達成した。
• 本手法は Animate124 ベンチマークで CLIP-I スコア 0.9227 を達成し、先行手法（例：Animate124: 0.8544）を著しく上回り、優れた画像忠実度を示した。
• ゼロ初期化によりモードコラプスとドリフトが防止され、非ゼロ初期化のシナリオでパンダの背中が完全に黒くなる問題が解消された。
• 異なるドライブビデオから同じ入力画像に対して異なる、制御可能な 3D 動作が生成され、高い運動多様性とユーザー制御性を実証した。
• ビデオ間テクスチャ精錬によりちらつきが低減し、時間的整合性が向上した。フレーム単位の最適化と比較する定性的な比較では、ちらつきが顕著に目立つ結果が得られた。
• エクスポートされたアニメーションメッシュは時間的に整合的で、Blender でも正しくレンダリング可能であり、実世界の 3D 応用における実用的デプロイ性を確認した。