[論文レビュー] GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

Quankai Gao, Qiangeng Xu+6 more|arXiv (Cornell University)|Mar 19, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

GaussianFlowは、スプラッティングを介して3次元ガウス運動を2次元ピクセルレベルの光流にリンクする、新しい微分可能フレームワークを導入する。これにより、光流を直接用いて3次元運動を監視可能となり、特に動的シーンにおいて、色ずれを低減し、運動の一貫性と視覚的品質の面で最先端の性能を達成する4次元コンテンツ生成と新規ビュー再構築が可能になる。

ABSTRACT

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/

研究の動機と目的

• 単眼またはスパarsely視点入力において、4次元ガウススプラッティングにおける直接的な動的監視の欠如に取り組むこと。
• 光流を用いて3次元ガウスダイナミクスを明示的に監視することで、4次元生成における運動の曖昧さと色ずれを解消すること。
• 特に高動的な領域において、4次元コンテンツ生成および新規ビュー再構築における時間的整合性とリアリズムを向上させること。
• レンダリング速度を損なわず、3次元ガウス運動と2次元ピクセル速度を効率的に接続する微分可能で効率的な手法を開発すること。

提案手法

• 3次元ガウスダイナミクス（並進、回転、スケーリング）を画像面上にスプラッティングすることで形成される、密な2次元運動表現としてのガウスフローを導入する。
• 微分可能スプラッティングを用いて3次元ガウス運動を2次元ピクセルレベルのフローにマッピングし、エンドツーエンドのバックプロパゲーションを可能にする。
• 予測されたガウスフローと真値光流の間のL2損失を最小化することで、3次元ガウスダイナミクスを直接監視する。
• 4次元コンテンツ生成および4次元新規ビュー再構築の両段階でフロー監視を適用し、運動と外観の安定化を図る。
• スパースビュー条件下での幾何、外観、ダイナミクスの曖昧さを低減するため、光度損失とフロー監視を組み合わせる。
• フロー監視を4次元ガウススプラッティングフィールドの最適化に統合した微分可能レンダリングパイプラインを採用する。

Figure 2 : Between two consecutive frames, a pixel $x_{t_{1}}$ will be pushed towards $x_{t_{1}}\rightarrow x_{i,t_{2}}$ by the 2D Gaussian $i$ ’s motion $i^{t_{1}}\rightarrow i^{t_{2}}$ . We can track $x_{t_{1}}$ in Gaussian $i$ by normalizing it to canonical Gaussian space as $\hat{x}_{i}$ and unn

実験結果

リサーチクエスチョン

• RQ1 2次元光流を用いて、微分可能かつ効率的に3次元ガウスダイナミクスを監視することは可能か？
• RQ2 フロー誘導監視は、4次元ガウススプラッティングにおける運動の一貫性をどのように向上させ、色ずれを低減するのか？
• RQ3 ガウスフローは、特に高動的または隠蔽領域において、4次元コンテンツ生成および4次元新規ビュー再構築の両方を向上させ得るか？
• RQ4 運動の曖昧さを扱う際、フローサポート監視は、光度監視や潜在空間監視（例：SDS）と比較してどのように優れているか？
• RQ5 本手法は、細い構造や高速移動部を含む多様な動的シーンに一般化可能か？

主な発見

• 提案手法は、4次元コンテンツ生成および4次元新規ビュー再構築の両面で最先端の結果を達成し、Dynamic Region OnlyベンチマークではPSNR 32.30を達成した。
• 4DGSベンチマークでは34.22のPSNRを達成し、RT-4DGS（32.01）および4DGS（31.15）を上回り、優れた運動のリアリズムを示した。
• フローサポートがなければ、ガウス運動は一貫性を失い、非滑らかな光流と新規ビューにおけるアーチファクトが生じ、特に移動部で顕著に現れた。
• フローサポートは、時間経過に伴う動的ガウス行動の安定化により、4次元生成における色ずれを効果的に解消した。
• 可視化結果から、フローサポートが適用された場合にのみ、入力ビューおよび新規ビューの両方でガウスフローと光流が一致することが確認された。
• アブレーションスタディの結果、フローサポートは、光度損失のみでは失敗する細い構造（例：鳥のくちばし）や複雑な領域（例：頭蓋骨の歯）における運動品質を顕著に向上させた。

Figure 3 : Overview of our 4D content generation pipeline. Our model can take an uncalibrated monocular video or video generated from an image as the input. We optimize a 3D Gaussian field by matching the first frame photometrically on reference view and using a 3D-aware SDS loss [ 26 ] to supervise