[논문 리뷰] GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

Quankai Gao, Qiangeng Xu외 6명|arXiv (Cornell University)|2024. 03. 19.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

GaussianFlow는 3D 가우시안 역학을 스플래터링을 통해 2D 픽셀 수준의 광학 흐름으로 연결하는 새로운 미분 가능 프레임워크를 도입하여, 광학 흐름을 통한 3D 운동의 직접적 지도 학습을 가능하게 한다. 이 방법은 색상 이탈을 감소시키고 운동 일관성과 시각적 품질에서 최신 기술 수준에 도달함으로써, 특히 동적인 시나리오에서 4D 콘텐츠 생성과 새로운 시점 합성 성능을 크게 향상시킨다.

ABSTRACT

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/

연구 동기 및 목표

• 단일 또는 희소 시점 입력에서 4D 가우시안 스플래터링의 직접적 동적 지도 학습 부족 문제를 해결하기 위해.
• 광학 흐름을 통해 3D 가우시안 역학을 명시적으로 지도하여 운동의 모호성과 색상 이탈 문제를 해결하기 위해.
• 특히 높은 동적 영역에서 시간적 일관성과 현실감 있는 4D 콘텐츠 생성 및 새로운 시점 합성 성능 향상을 위해.
• 랜더링 속도를 저하시키지 않으면서 3D 가우시안 운동과 2D 픽셀 속도 간의 다이내믹한 브리지 역할을 하는 미분 가능하고 효율적인 방법을 개발하기 위해.

제안 방법

• 3D 가우시안 역학(이동, 회전, 스케일링)을 영상 평면에 스플래터링하여 생성된 밀도 높은 2D 운동 표현인 가우시안 흐름을 도입한다.
• 미분 가능 스플래터링을 사용하여 3D 가우시안 운동을 2D 픽셀 수준의 흐름으로 매핑함으로써 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 예측된 가우시안 흐름과 진짜 광학 흐름 간의 L2 손실을 최소화하여 3D 가우시안 역학을 직접적으로 지도한다.
• 4D 콘텐츠 생성 및 4D 새로운 시점 합성 과정에서 흐름 지도 학습을 적용하여 운동과 외관의 안정성을 향상시킨다.
• 희소 시점 조건에서 기하학, 외관, 역학의 모호성을 줄이기 위해 광학적 손실과 흐름 지도 학습을 융합한다.
• 흐름 지도 학습을 4D 가우시안 스플래터링 필드 최적화에 통합하는 미분 가능 렌더링 파이프라인을 구현한다.

Figure 2 : Between two consecutive frames, a pixel $x_{t_{1}}$ will be pushed towards $x_{t_{1}}\rightarrow x_{i,t_{2}}$ by the 2D Gaussian $i$ ’s motion $i^{t_{1}}\rightarrow i^{t_{2}}$ . We can track $x_{t_{1}}$ in Gaussian $i$ by normalizing it to canonical Gaussian space as $\hat{x}_{i}$ and unn

실험 결과

연구 질문

• RQ1 2D 광학 흐름을 사용하여 3D 가우시안 역학을 미분 가능하고 효율적인 방식으로 효과적으로 지도할 수 있는가?
• RQ2 흐름 유도 지도 학습은 4D 가우시안 스플래터링에서 운동 일관성 향상과 색상 이탈 감소에 어떻게 기여하는가?
• RQ3 가우시안 흐름은 특히 고도로 동적인 또는 가림 영역이 있는 경우 4D 콘텐츠 생성과 4D 새로운 시점 합성 성능을 향상시킬 수 있는가?
• RQ4 흐름 지도 학습은 운동 모호성 처리에서 광학적 손실 및 잠재 공간 지도 학습(SDS 등)과 비교해 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 얇은 구조나 빠르게 움직이는 부분을 포함한 다양한 동적 시나리오에 일반화 가능한가?

주요 결과

• 제안된 방법은 4D 콘텐츠 생성 및 4D 새로운 시점 합성에서 최신 기술 수준의 성능을 달성하였으며, 동적 영역 전용 벤치마크에서 PSNR 32.30을 기록하였다.
• 우리의 방법은 4DGS 벤치마크에서 PSNR 34.22를 기록하여 RT-4DGS(32.01)와 4DGS(31.15)를 모두 앞서며 뛰어난 운동 현실감을 입증하였다.
• 흐름 지도 학습이 없을 경우, 가우시안 운동은 일관성이 떨어지며, 특히 움직이는 부분에서 비연속적인 광학 흐름과 잡음이 발생한다.
• 흐름 지도 학습은 시간에 걸쳐 동적 가우시안 행동을 안정화시킴으로써 4D 생성에서 색상 이탈을 효과적으로 해결한다.
• 시각화 결과는 흐름 지도 학습이 적용된 경우에만 입력 및 새로운 시점에서 가우시안 흐름이 광학 흐름과 정렬됨을 확인한다.
• 절단 실험 결과, 광학적 손실만으로는 실패하는 얇은 구조(예: 새의 부리) 및 복잡한 영역(예: 뼈의 이가)에서 흐름 지도 학습이 운동 품질을 크게 향상시킨다.

Figure 3 : Overview of our 4D content generation pipeline. Our model can take an uncalibrated monocular video or video generated from an image as the input. We optimize a 3D Gaussian field by matching the first frame photometrically on reference view and using a 3D-aware SDS loss [ 26 ] to supervise