[논문 리뷰] SharpTimeGS: Sharp and Stable Dynamic Gaussian Splatting via Lifespan Modulation

Zhanfeng Liao, Jiajun Zhang외 5명|arXiv (Cornell University)|2026. 02. 03.

Computer Graphics and Visualization Techniques인용 수 0

한 줄 요약

SharpTimeGS는 4D 가우시안 스플래팅에 학습 가능한 수명을 도입하여 평탄한 상단의 시간 가시성 및 수명 모듈레이션 모션을 가능하게 하고, 정적 안정성과 동적 충실도 사이의 균형을 맞추며, 최첨단 결과를 달성하고 고성능 하드웨어에서 실시간에 근접한 렌더링을 구현합니다.

ABSTRACT

Novel view synthesis of dynamic scenes is fundamental to achieving photorealistic 4D reconstruction and immersive visual experiences. Recent progress in Gaussian-based representations has significantly improved real-time rendering quality, yet existing methods still struggle to maintain a balance between long-term static and short-term dynamic regions in both representation and optimization. To address this, we present SharpTimeGS, a lifespan-aware 4D Gaussian framework that achieves temporally adaptive modeling of both static and dynamic regions under a unified representation. Specifically, we introduce a learnable lifespan parameter that reformulates temporal visibility from a Gaussian-shaped decay into a flat-top profile, allowing primitives to remain consistently active over their intended duration and avoiding redundant densification. In addition, the learned lifespan modulates each primitives' motion, reducing drift in long-lived static points while retaining unrestricted motion for short-lived dynamic ones. This effectively decouples motion magnitude from temporal duration, improving long-term stability without compromising dynamic fidelity. Moreover, we design a lifespan-velocity-aware densification strategy that mitigates optimization imbalance between static and dynamic regions by allocating more capacity to regions with pronounced motion while keeping static areas compact and stable. Extensive experiments on multiple benchmarks demonstrate that our method achieves state-of-the-art performance while supporting real-time rendering up to 4K resolution at 100 FPS on one RTX 4090.

연구 동기 및 목표

• 장기적인 정적 영역과 단기적인 동적 영역 간의 균형을 이루는 강건한 동적 씬 재구성을 동기화한다.
• primitive당 학습 가능한 수명을 갖는 통합 4D 가우시안 표현을 제공한다.
• 수명에 따른 가시성 및 모션으로 선명한 시간 경계와 안정적인 최적화를 달성한다.
• 속도 인식 초기화 및 밀도화를 통한 수렴 및 효율성 향상을 도모한다.

제안 방법

• 가우시안 프리미티브당 학습 가능한 수명 매개변수를 도입한다.
• 가시성을 제어하기 위해 기존 가우시안 시간적 감소를 평탄 상단 수명 프로필로 대체한다.
• 각 프리미티브의 모션을 수명 의존 인자로 조절하여 모션과 지속 시간을 해방시킨다.
• 동적 영역과 정적 영역을 구분하고 사전 정보를 할당하기 위해 속도 인식 초기화를 사용한다.
• 수명–속도 인식 밀도화를 통해 동적 영역에 더 많은 용량을 할당하고 정적 영역은 컴팩트하게 유지한다.
• 재구성 손실에 정규화 및 보조 밀도화 손실(시간 범위 및 불투명도 규제 포함)을 더해 학습한다.

실험 결과

연구 질문

• RQ1 프리미티브당 수명이 4D 가우시안 스플래팅에서 정적 및 동적 영역의 표현을 어떻게 개선할 수 있는가?
• RQ2 수명 조절이 동적 충실도를 희생하지 않고도 장기 렌더링의 안정성을 제공할 수 있는가?
• RQ3 속도 인식 초기화 및 밀도화 전략이 동적 씬에서 최적화의 수렴 및 디테일을 개선하는가?
• RQ4 가우시안 시간적 감소를 평탄 상단 수명 프로필로 대체하는 것이 시간 경계와 모션 드래깅에 어떤 영향을 미치는가?

주요 결과

• 네트워크3DV, ENeRF-Outdoor, SelfCap 데이터셋에서 최첨단 렌더링 품질을 달성한다.
• RTX 4090에서 4K 해상도, 최대 100 FPS의 실시간 렌더링을 제공한다.
• 평탄 상단 수명 가시성과 수명 모듈레이션 모션이 모션 드래깅과 장기 좌주(드리프트)를 줄인다.
• 속도 인식 초기화 및 밀도화가 수렴을 개선하고 동적 영역에 용량을 배정한다.
• 각 구성 요소(4D 표현, 시간 가시성, 밀도화, 초기화)의 효과를 확인하는 차폐 실험에서 성능 상승이 확인된다.
• 여러 지표(PSNR, SSIM, LPIPS)에서 변형 기반 및 다른 4D 가우시안 기준선보다 우수하다.