[논문 리뷰] Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

Zhan Li, Zhang Chen외 2명|arXiv (Cornell University)|2023. 12. 28.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 시간에 따라 변하는 투명도, 운동, 회전을 갖춘 3D 가우시안을 확장하여 정적, 동적, 일시적인 콘텐츠를 동시에 모델링할 수 있는 새로운 동적 시나리오 표현 방법인 Spacetime Gaussian Feature Splatting을 제안한다. 구형 조화 함수 대신 학습 가능한 신경 특징을 사용하고 오차 및 깊이 유도 샘플링을 적용하여, RTX 4090에서 작고 컴act한 모델 크기로 8K 실시간 렌더링(60 FPS)을 달성한다.

ABSTRACT

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU. Our code is available at https://github.com/oppo-us-research/SpacetimeGaussians.

연구 동기 및 목표

• 고해상도, 사진 수준의 정확도를 갖춘 실시간 동적 시각 합성과 작고 컴팩트한 모델 저장을 동시에 달성하는 데 도전한다.
• 복잡한 시나리오의 동적 특성과 일시적인 콘텐츠를 모델링하는 데 있어 격자 기반 표현 방식의 한계를 극복한다.
• 유도된 가우시안 샘플링을 통해 희소하게 커버된 먼 거리 영역에서의 렌더링 품질을 향상시킨다.
• 구형 조화 함수 대신 작고 효율적인 신경 특징을 사용하여 시간에 따라 변하는 외관을 효율적이고 미분 가능한 방식으로 렌더링할 수 있도록 한다.

제안 방법

• 정적, 동적, 일시적인 시나리오 요소를 모델링하기 위해 시간에 따라 변하는 투명도, 다항식 운동, 그리고 회전 파rameter를 갖춘 4차원 Spacetime Gaussians(STGs)를 도입한다.
• 각 가우시안에 대해 기저 색상, 시야 의존적 외관, 시간 의존적 외관을 인코딩하기 위해 구형 조화 함수를 학습 가능한 신경 특징으로 대체한다. 이는 표현력 향상과 모델의 컴팩트함을 동시에 개선한다.
• 스플래터드 특징 렌더링을 구현한다: STG 특징을 이미지 평면에 미분 가능한 방식으로 래스터라이즈하고, 작은 MLP를 통해 최종 픽셀 색상을 예측한다.
• 학습 오차와 원시 깊이 감독을 기반으로 4차원 시공간에서 새로운 가우시안을 유도적으로 샘플링하여, 먼 거리나 희소하게 커버된 영역에서의 수렴 성능을 향상시킨다.
• 광학적 일致성과 깊이 일치성을 최적화하는 미분 가능한 렌더링 파이프라인을 사용해 모델을 종합적으로 학습한다.
• 원시 깊이 감독과 오차 맵을 활용해 어려운 영역에서의 샘플링 우선순위를 높여 모델 크기를 늘리지 않으면서도 렌더링 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 4차원 시공간 가우시안 표현은 정적, 동적, 일시적인 시나리오 콘텐츠를 동시에 효과적으로 모델링할 수 있는가?
• RQ2 구형 조화 함수를 학습 가능한 신경 특징으로 대체하면 동적 시나리오에서 렌더링 품질과 모델 컴팩트함이 향상되는가?
• RQ3 학습 오차와 원시 깊이를 기반으로 한 유도 샘플링 전략이 희소하게 커버된 영역에서의 렌더링 품질을 크게 향상시킬 수 있는가?
• RQ4 제안된 방법은 상태의 최고 수준(SOTA) 품질과 작은 모델 크기를 유지하면서도 실시간 8K 렌더링을 달성할 수 있는가?
• RQ5 실세계 동적 데이터셋에서 기존 SOTA 방법과 비교해 PSNR, LPIPS, 추론 속도 측면에서 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 Technicolor 데이터셋에서 PSNR 33.6, LPIPS 0.084의 최고 성능을 기록하여 DyNeRF 및 HyperReel과 같은 이전 방법들을 모두 능가한다.
• Google Immersive 데이터셋에서는 PSNR 29.2, LPIPS 0.042를 기록하여 NeRFPlayer 및 HyperReel과 비교해 두 지표에서 뚜렷한 우월성을 보였다.
• 라이트 버전 모델은 NVIDIA RTX 4090 GPU에서 8K 해상도로 60 FPS로 렌더링하여 실시간 성능을 입증했다.
• 유도 샘플링 전략은 정량적 및 정성적 결과를 통해 먼 거리나 희소하게 커버된 영역에서의 렌더링 아티팩트를 줄였으며, DSSIM 및 LPIPS 값이 낮아 보였다.
• 모델은 컴팩트한 저장 크기를 유지하며, 격자 기반 또는 볼록 기반 표현 방식의 메모리 오버헤드 없이도 높은 정밀도를 유지를 한다.
• 신경 특징을 통한 시공간 특징 학습은 시야 및 시간에 따라 변하는 외관을 정확히 모델링할 수 있게 하여, 향상된 시각적 품질과 낮은 인지 오차 지표를 보였다.