[논문 리뷰] Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting

Zeyu Yang, Hongye Yang외 2명|arXiv (Cornell University)|2023. 10. 16.

Advanced Vision and Imaging인용 수 33

한 줄 요약

논문은 동적 장면을 위해 4D Gaussian Splatting(4DGS) 표현을 도입하여 스페이스-타임 4D 가우시안과 시간에 따라 변화하는 외관을 4D spherindrical harmonics로 모델링함으로써 엔드투엔드 학습 가능하고 실시간으로 포토리얼한 고해상도 동적 뷰 렌더링을 달성한다.

ABSTRACT

Reconstructing dynamic 3D scenes from 2D images and generating diverse views over time is challenging due to scene complexity and temporal dynamics. Despite advancements in neural implicit models, limitations persist: (i) Inadequate Scene Structure: Existing methods struggle to reveal the spatial and temporal structure of dynamic scenes from directly learning the complex 6D plenoptic function. (ii) Scaling Deformation Modeling: Explicitly modeling scene element deformation becomes impractical for complex dynamics. To address these issues, we consider the spacetime as an entirety and propose to approximate the underlying spatio-temporal 4D volume of a dynamic scene by optimizing a collection of 4D primitives, with explicit geometry and appearance modeling. Learning to optimize the 4D primitives enables us to synthesize novel views at any desired time with our tailored rendering routine. Our model is conceptually simple, consisting of a 4D Gaussian parameterized by anisotropic ellipses that can rotate arbitrarily in space and time, as well as view-dependent and time-evolved appearance represented by the coefficient of 4D spherindrical harmonics. This approach offers simplicity, flexibility for variable-length video and end-to-end training, and efficient real-time rendering, making it suitable for capturing complex dynamic scene motions. Experiments across various benchmarks, including monocular and multi-view scenarios, demonstrate our 4DGS model's superior visual quality and efficiency.

연구 동기 및 목표

• 통합된 4D 부피에서 시공간 구조를 포착하여 2D 이미지로부터 동적 장면의 실시간 및 사진 수준 렌더링을 목표로 한다.
• 동적 장면을 위해 명시적 기하 및 외관을 갖춘 4D 가우시안 원시를 제안하여 엔드투엔드 학습과 실시간 렌더링을 가능하게 한다.
• 시간에 따라 진화하는 외관 모델을 4D spherindrical harmonics로 도입하여 시간이 지남에 따라 시점 의존 색상 변화를 포착한다.
• 선행 방법들에 비해 다양한 실제 및 합성 동적 데이터 세트에서 우수한 시각적 품질과 효율성을 입증한다.

제안 방법

• 평균, 시공간 공분산, 그리고 시간에 따라 진화하는 색상을 갖는 4D 가우시안들의 모음으로 동적 장면을 표현한다.
• 4D 공분산을 Sigma = R S S^T R^T로 매개변수화하며, 4D 회전 R(좌우 등방 회전을 통해)과 공간 및 시간에 대한 대각 확장 S를 사용한다.
• 이미지 평면으로 투영할 때 시간에 대해 적분하여 각 가우시안마다 2D 스플랫을 렌더링하기 위해 조건부 3D 가우시안 p(xyz|t)와 주변분포 p(t)을 도출한다.
• (x,y,z)와 t를 하나의 응집된 4D 가우시안의 구성요소로 간주하여 시공간을 공동으로 모델링하고, 엔드투엔드 최적화 및 방사도 스플랫 렌더링을 가능하게 한다.
• 뷰의 의존 색상을 4D spherindrical harmonics (4DSH)로 표현하여 관점과 시간에 따라 진화하는 외관을 포착한다.
• 렌더링 손실로 엔드투엔드 학습을 수행하고, 시간 샘플링 배치를 사용해 시간적 깜박임을 줄이며 시공간에서 밀도 증가(densification)와 밀도 제어를 적용한다.

Figure 1: Schematic illustration of the proposed 4DGS. This diagram illustrates why our 4D primitive is naturally suitable for representing dynamic scenes. Within our framework, the transition from 4D Gaussian to 2D Planar Gaussian can conceptually correspond to the process where a dynamic scene tra

실험 결과

연구 질문

• RQ1 하나의 unified 4D Gaussian 원시가 포착하는 시공간 구조를 통해 포토리얼리스틱하고 실시간 뷰 합성을 가능하게 하는가?
• RQ2 4D 회전 및 4D SH 기반 외관 모델이 3D 기반이나 시간으로 분리된 표현보다 동적 장면 렌더링 품질을 향상시키는가?
• RQ3 4D Gaussian 래스터라이제이션 파이프라인으로 엔드투엔드 학습이 단일 프레임이 아닌 모노큘러 및 다중 뷰 동적 데이터셋에서 실시간 렌더링에 가능하도록 하는가?

주요 결과

• 4D 회전을 갖춘 4D Gaussian 원시가 동적 장면을 효과적으로 모델링하고 실시간 고충실도 렌더링을 가능하게 한다.
• 4D Spherindrical Harmonics(4DSH)가 시간에 따라 진화하는 시점 의존 외관을 포착하여 시각적 품질을 향상시킨다.
• Plenoptic Video 및 D-NeRF 데이터셋에서 4DGS는 이전 방법들에 비해 실시간 FPS로 더 우수한 PSNR, SSIM/DPSSIM류 지표 및 LPIPS를 달성한다.
• 공간-시간을 4D 회전과 시간 결합된 외관으로 함께 모델링하는 것이 시간적으로 독립적인 확장보다 우수하다는 점이 확인된다.
• 이 방법은 프레임별 최적화가 아닌 전체 영상에 걸친 엔드투엔드 학습을 지원하여 확장 가능한 동적 장면 합성을 가능하게 한다.

Figure 2: Rendering pipeline of our 4DGS. Given a time $t$ and view $\mathcal{I}$ , each 4D Gaussian is first decomposed into a conditional 3D Gaussian and a marginal 1D Gaussian. Subsequently, the conditional 3D Gaussian is projected to a 2D splat. Finally, we integrate the planar conditional Gauss