[論文レビュー] Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting

Zeyu Yang, Hongye Yang+2 more|arXiv (Cornell University)|Oct 16, 2023

Advanced Vision and Imaging被引用数 33

ひとこと要約

論文は動的シーンのための4D Gaussian Splatting (4DGS) 表現を導入し、時空間4Dガウスと時間発展する外観を4D spherindrical harmonicsでモデル化することで、エンドツーエンドの学習可能なリアルタイムのフォトリアリスティックな高解像度動的ビューのレンダリングを実現します。

ABSTRACT

Reconstructing dynamic 3D scenes from 2D images and generating diverse views over time is challenging due to scene complexity and temporal dynamics. Despite advancements in neural implicit models, limitations persist: (i) Inadequate Scene Structure: Existing methods struggle to reveal the spatial and temporal structure of dynamic scenes from directly learning the complex 6D plenoptic function. (ii) Scaling Deformation Modeling: Explicitly modeling scene element deformation becomes impractical for complex dynamics. To address these issues, we consider the spacetime as an entirety and propose to approximate the underlying spatio-temporal 4D volume of a dynamic scene by optimizing a collection of 4D primitives, with explicit geometry and appearance modeling. Learning to optimize the 4D primitives enables us to synthesize novel views at any desired time with our tailored rendering routine. Our model is conceptually simple, consisting of a 4D Gaussian parameterized by anisotropic ellipses that can rotate arbitrarily in space and time, as well as view-dependent and time-evolved appearance represented by the coefficient of 4D spherindrical harmonics. This approach offers simplicity, flexibility for variable-length video and end-to-end training, and efficient real-time rendering, making it suitable for capturing complex dynamic scene motions. Experiments across various benchmarks, including monocular and multi-view scenarios, demonstrate our 4DGS model's superior visual quality and efficiency.

研究の動機と目的

• 2D画像からの動的シーンのリアルタイムでフォトリアリスティックなレンダリングを促進するため、統一された4Dボリューム内の時空間構造を捉えること。
• 動的シーンの幾何と外観を明示的に持つ4D Gaussianプリミティブを提案し、エンドツーエンドのトレーニングとリアルタイムレンダリングを可能にすること。
• 時間とともに変化する外観モデルを4D spherindrical harmonics により導入し、ビュー依存の色の変化を時間とともに捉えること。
• 先行手法と比較して、実世界および合成の多様な動的データセットで視覚品質と効率の向上を示すこと。

提案手法

• 動的シーンを、平均、空間-時間共分散、時間発展色を持つ4Dガウスの集合として表現すること。
• 4D共分散を Sigma = R S S^T R^T（4D回転 R（左回りと右回りの等方回転を用いた）と空間・時間の対角スケーリング S）としてパラメータ化すること。
• 条件付き3Dガウス p(xyz|t) と周辺 p(t) を導出し、画像平面への射影時に各ガウスあたり1つの2Dスプラットをレンダリングし、時間で積分すること。
• 空間と時間を共同に扱い、(x,y,z)と t を結合した4Dガウスのコンポーネントとして統合的に最適化し、放射輝度スプラットレンダリングを可能にすること。
• ビュー依存の色を4D spherindrical harmonics (4DSH) で表現し、視点と時間に依存する時間発展する外観を捉えること。
• 時間サンプルのバッチを用いたレンダリング損失でエンドツーエンドに訓練し、時間的フリッカーを低減するための時間的濃度化と時空間の濃度制御を採用すること。

Figure 1: Schematic illustration of the proposed 4DGS. This diagram illustrates why our 4D primitive is naturally suitable for representing dynamic scenes. Within our framework, the transition from 4D Gaussian to 2D Planar Gaussian can conceptually correspond to the process where a dynamic scene tra

実験結果

リサーチクエスチョン

• RQ1 統一的な4D Gaussianプリミティブは、フォトリアリスティックでリアルタイムなビュー合成のために動的シーンの時空間構造を捉えることができるか。
• RQ2 4D回転と4D SHベースの外観モデルは、3Dベースまたは時間分離表現と比べて動的シーンのレンダリング品質を改善するか。
• RQ3 4D Gaussianラスタリゼーションパイプラインでのエンドツーエンド訓練は、モノキューラーとマルチビューの動的データセット全体でリアルタイムレンダリングを可能にするか。

主な発見

• 4D回転を用いた4Dガウスプリミティブは動的シーンを効果的にモデル化し、リアルタイムで高忠実なレンダリングを実現する。
• 4D Spherindrical Harmonics (4DSH) は時間発展するビュー依存の外観を捉え、視覚品質を向上させる。
• Plenoptic VideoとD-NeRFデータセットにおいて、4DGS は prior-methods に対してリアルタイムFPSで優れたPSNR、SSIM/DPSSIM様指標、LPIPSを実現。
• アブレーションにより、4D回転と時間結合の外観を同時にモデリングすることが、時間的に独立な拡張よりも優れていることが示された。
• このアプローチは、フレームごとの最適化ではなくビデオ全体をエンドツーエンド訓練することをサポートし、動的シーン合成のスケーラビリティを実現する。

Figure 2: Rendering pipeline of our 4DGS. Given a time $t$ and view $\mathcal{I}$ , each 4D Gaussian is first decomposed into a conditional 3D Gaussian and a marginal 1D Gaussian. Subsequently, the conditional 3D Gaussian is projected to a 2D splat. Finally, we integrate the planar conditional Gauss