[論文レビュー] SharpTimeGS: Sharp and Stable Dynamic Gaussian Splatting via Lifespan Modulation

Zhanfeng Liao, Jiajun Zhang+5 more|arXiv (Cornell University)|Feb 3, 2026

Computer Graphics and Visualization Techniques被引用数 0

ひとこと要約

SharpTimeGSは4D Gaussian splattingに学習可能な寿命を導入し、フラットトップの時間可視性と寿命モジュレーションを通じて静的安定性と動的忠実度をバランスさせ、最先端の結果と高性能ハードウェア上でのリアルタイム風レンダリングを達成します

ABSTRACT

Novel view synthesis of dynamic scenes is fundamental to achieving photorealistic 4D reconstruction and immersive visual experiences. Recent progress in Gaussian-based representations has significantly improved real-time rendering quality, yet existing methods still struggle to maintain a balance between long-term static and short-term dynamic regions in both representation and optimization. To address this, we present SharpTimeGS, a lifespan-aware 4D Gaussian framework that achieves temporally adaptive modeling of both static and dynamic regions under a unified representation. Specifically, we introduce a learnable lifespan parameter that reformulates temporal visibility from a Gaussian-shaped decay into a flat-top profile, allowing primitives to remain consistently active over their intended duration and avoiding redundant densification. In addition, the learned lifespan modulates each primitives' motion, reducing drift in long-lived static points while retaining unrestricted motion for short-lived dynamic ones. This effectively decouples motion magnitude from temporal duration, improving long-term stability without compromising dynamic fidelity. Moreover, we design a lifespan-velocity-aware densification strategy that mitigates optimization imbalance between static and dynamic regions by allocating more capacity to regions with pronounced motion while keeping static areas compact and stable. Extensive experiments on multiple benchmarks demonstrate that our method achieves state-of-the-art performance while supporting real-time rendering up to 4K resolution at 100 FPS on one RTX 4090.

研究の動機と目的

• 長期的な静的領域と短期的な動的領域の両立を図る堅牢なダイナミックシーン再構成を動機づける。
• プリミティブごとに学習可能な寿命を備えた統一的な4D Gaussian表現を提供する。
• 寿命モジュレーション視認性とモーションを介して鋭い時間境界と安定した最適化を達成する。
• 速度認識的初期化とデンシフィケーション戦略により収束と効率を向上させる。

提案手法

• Gaussian primitiveごとに学習可能な寿命パラメータを導入する。
• 従来のGaussian時間的減衰をフラットトップ寿命プロファイルに置換し視認性を制御する。
• 各プリミティブのモーションを寿命依存因子で調整し、モーションと期間を分離する。
• 動的領域と静的領域を分離し事前分布を割り当てる速度認識的初期化を使用する。
• 寿命–速度認識デンシフィケーションを実装して動的領域へより多くの容量を割り当てつつ静的領域をコンパクトに保つ。
• 再構成損失と正規化に加え、時空域間の寿命と不透明度正規化を含む補助的デンシフィケーション損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 各プリミティブ寿命が4D Gaussian splattingにおける静的領域と動的領域の表現をどう改善するか。
• RQ2 寿命モジュレーションは動的忠実度を犠牲にせず長期的なレンダリングの安定性を得られるか。
• RQ3 速度認識初期化とデンシフィケーション戦略は動的シーンの最適化収束とディテールを改善するか。
• RQ4 Gaussian時間的減衰をフラットトップ寿命プロファイルに置換することは時間境界とモーションドラッグにどのような影響を及ぼすか。

主な発見

• Neural3DV、ENeRF-Outdoor、SelfCapデータセットで最先端のレンダリング品質を達成。
• RTX 4090で4K、100 FPSのリアルタイムレンダリングを達成。
• フラットトップ寿命視認性と寿命モジュレーションモーションによりモーションドラッグと長期的ドリフトを低減。
• 速度認識初期化とデンシフィケーションは収束を改善し動的領域への容量割り当てを最適化。
• アブレーション研究により各構成要素（4D表現、時間視認性、デンシフィケーション、初期化）が性能向上に寄与。
• 複数の指標（PSNR、SSIM、LPIPS）で変形ベースおよび他の4D Gaussianベースラインを上回る。