[論文レビュー] Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

Zhan Li, Zhang Chen+2 more|arXiv (Cornell University)|Dec 28, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、時間的透明度、運動、回転を追加した3次元ガウスに拡張された、静的・動的・一時的コンテンツを同時にモデル化可能な新規な動的シーン表現「Spacetime Gaussian Feature Splatting」を提案する。球面調和関数の代わりに学習可能なニューラル特徴を採用し、誤差および深度に基づくガウスサンプリングを実装することで、RTX 4090で8Kリアルタイムレンダリング（60 FPS）を達成し、モデルサイズをコンactに保ったまま最先端の性能を実現した。

ABSTRACT

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU. Our code is available at https://github.com/oppo-us-research/SpacetimeGaussians.

研究の動機と目的

• 高解像度・光沢的・リアルタイムな動的ビュー合成を、コンパクトなモデルストレージで達成する挑戦に応えること。
• グリッドベースの表現が複雑なシーンの動的特性や一時的コンテンツをモデル化する際の制限を克服すること。
• ガイド付きガウスサンプリングにより、カバーが薄い遠方領域のレンダリング品質を向上させること。
• 球面調和関数の代わりに、コンパクトなニューラル特徴を用いて時間変化する外観を効率的かつ微分可能にレンダリングすること。

提案手法

• 動的および一時的シーン要素をモデル化するため、時間的に変化する透明度、多項式の運動、回転パラメータを追加した4次元時空ガウス（STGs）を導入する。
• 各ガウスごとに学習可能なニューラル特徴を導入し、球面調和関数を置き換え、基本色、視点依存外観、時間依存外観をより表現力豊かにかつモデルのコンパクト性を保って表現する。
• スプラット特徴レンダリングを実装：STG特徴を画像平面に微分可能にラスタライズし、小さなMLPを通して最終ピクセルカラーを予測する。
• トレーニング誤差と粗い深度監視を用いて、4次元時空における新しいガウスのガイド付きサンプリングを提案し、遠方またはカバーが薄い領域での収束を改善する。
• 光度および深度の一貫性を最適化する微分可能レンダリングパイプラインを用いて、モデルをエンドツーエンドで訓練する。
• 粗い深度監視と誤差マップを活用し、挑戦的な領域に優先的にサンプリングを配置することで、モデルサイズを増大させることなくレンダリング忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 4次元時空ガウス表現は、静的・動的・一時的コンテンツを同時に効果的にモデル化できるか？
• RQ2 球面調和関数を学習可能なニューラル特徴に置き換えることで、動的シーンにおけるレンダリング品質とモデルのコンパクト性が向上するか？
• RQ3 トレーニング誤差と粗い深度に基づくガイド付きサンプリングは、カバーが薄い領域でのレンダリング品質を顕著に改善できるか？
• RQ4 提案手法は、最先端の品質を維持しながら、8K解像度のリアルタイム（60 FPS）レンダリングを達成できるか？
• RQ5 実世界の動的データセットにおいて、従来のSOTA手法と比較してPSNR、LPIPS、推論速度の観点から、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、TechnicolorデータセットでPSNR 33.6、LPIPS 0.084の最先端性能を達成し、DyNeRF や HyperReel といった先行手法を上回った。
• Google Immersiveデータセットでは、PSNR 29.2、LPIPS 0.042を達成し、NeRFPlayer や HyperReel と比較して両方の指標で顕著に優れた性能を示した。
• ライトバージョンのモデルは、NVIDIA RTX 4090 GPUで8K解像度、60 FPSでレンダリングを実現し、リアルタイム性能を証明した。
• ガイド付きサンプリング戦略により、遠方領域やカバーが薄い領域でのレンダリングアーティファクトが低減され、定性的および定量的評価でDSSIMおよびLPIPS値が低くなったことが確認された。
• モデルはコンパクトなストレージを維持しており、グリッドベースやボクセルベースの表現と比較してメモリのオーバーヘッドが発生しない高精度な忠実度を実現した。
• ニューラル特徴による空間時間的特徴学習により、視点依存および時間依存外観の正確なモデル化が可能となり、改善された知覚的品質と低い知覚誤差指標が示された。