[논문 리뷰] DreamGaussian4D: Generative 4D Gaussian Splatting

Jiawei Ren, Liang Pan외 5명|arXiv (Cornell University)|2023. 12. 28.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

DreamGaussian4D는 4D 가우시안 스 Plattin을 사용하여 효율적인 4D 콘텐츠 생성 프레임워크를 도입함으로써, 공간 변환을 명시적으로 모델링함으로써 최적화 시간을 수시간에서 수분으로 단축시킨다. 이는 드라이빙 비디오를 통한 제어 가능한 3D 운동 생성과 실세계 3D 엔진 호환성을 위한 비디오 간 텍스처 정밀화를 통해 메시 품질을 향상시킨다.

ABSTRACT

4D content generation has achieved remarkable progress recently. However, existing methods suffer from long optimization times, a lack of motion controllability, and a low quality of details. In this paper, we introduce DreamGaussian4D (DG4D), an efficient 4D generation framework that builds on Gaussian Splatting (GS). Our key insight is that combining explicit modeling of spatial transformations with static GS makes an efficient and powerful representation for 4D generation. Moreover, video generation methods have the potential to offer valuable spatial-temporal priors, enhancing the high-quality 4D generation. Specifically, we propose an integral framework with two major modules: 1) Image-to-4D GS - we initially generate static GS with DreamGaussianHD, followed by HexPlane-based dynamic generation with Gaussian deformation; and 2) Video-to-Video Texture Refinement - we refine the generated UV-space texture maps and meanwhile enhance their temporal consistency by utilizing a pre-trained image-to-video diffusion model. Notably, DG4D reduces the optimization time from several hours to just a few minutes, allows the generated 3D motion to be visually controlled, and produces animated meshes that can be realistically rendered in 3D engines.

연구 동기 및 목표

• 기존의 4D 생성 방법에서 긴 최적화 시간, 제한된 운동 제어 가능성, 낮은 세부 품질 문제를 해결한다.
• 4D 가우시안 스 Plattin의 명시적 공간 변환 모델링을 활용하여 동적 최적화를 단순화하고 학습 속도를 가속화한다.
• 스코어 디스틸레이션에 의존하는 대신, 이미지 조건 기반으로 생성된 드라이빙 비디오에서 운동을 학습하여 다양한 3D 운동 제어를 가능하게 한다.
• 비디오 간 텍스처 정밀화 파이프라인을 통해 시간적 일관성과 메시 품질을 향상시켜 배포 가능한 애니메이티드 메시를 확보한다.
• 실세계 적용을 촉진하기 위해 3D 렲링 엔진과 호환되는 고품질, 시간적으로 일관된 애니메이티드 메시를 내보내기 가능하게 한다.

제안 방법

• 먼저, 다중 시점 재구성 향상과 배경 아티팩트 수정을 위한 개선된 훈련 레시피인 DreamGaussianHD를 사용하여 정적 3D 가우시안 스 Plattin 모델을 훈련시킨다.
• 정적 모델에서의 드리프트를 방지하고 안정적인 수렴을 확보하기 위해 동적 최적화를 위한 제로 초기화를 도입한다.
• 이미지에서 비디오로의 디퓨전 모델로 생성된 드라이빙 비디오를 기반으로 변형 네트워크를 훈련시켜 시간에 따라 변하는 변형(위치, 스케일, 회전)을 학습한다.
• 각 프레임의 텍스처 맵을 향상시키고 시간적 일관성을 높이며 깜빡임을 줄이기 위해 비디오 간 디퓨전 파이프라인을 사용한다.
• 최적화된 4D 가우시안 스 Plattin 표현을 애니메이티드 메시 시퀀스로 내보내어 후속 3D 엔진 통합을 가능하게 한다.
• 다단계 최적화 전략을 적용한다: 정적 3D GS(500 반복), 동적 4D GS(200 반복), 및 선택적 메시 정밀화(50 반복) — 모든 작업은 단일 A100 GPU에서 수행된다.

실험 결과

연구 질문

• RQ1 가우시안 스 Plattin에서 명시적 공간 변환 모델링이 암시적 표현 대비 4D 생성에서 최적화 시간을 크게 단축시킬 수 있는가?
• RQ2 생성된 드라이빙 비디오에서 유도된 운동이 비디오 디퓨전 모델의 스코어 디스틸레이션 대비 더 나은 제어 가능성과 다양성을 제공할 수 있는가?
• RQ3 비디오 간 텍스처 정밀화가 단일 프레임 최적화 대비 내보낸 애니메이티드 메시의 시간적 일관성을 향상시킬 수 있는가?
• RQ4 제로 초기화가 동적 4D 가우시안 스 Plattin 최적화에서 드리프트를 방지하고 안정성을 향상시키는 데 얼마나 기여하는가?
• RQ5 전체 파이프라인이 실세계 3D 엔진 배포에 적합한 고해상도, 메시 호환 가능한 4D 콘텐츠를 생성할 수 있는가?

주요 결과

• DreamGaussian4D는 기존 방법(12,000 반복) 대비 700 반복으로 6.5시간에서 6.5분으로 최적화 시간을 단축시켜 60배의 속도 향상을 달성했다.
• Aniamte124 벤치마크에서 CLIP-I 점수 0.9227을 기록하여 기존 방법(예: Animate124: 0.8544)을 크게 앞서며 뛰어난 이미지 정밀도를 입증했다.
• 제로 초기화가 모드 붕괴와 드리프트를 방지하여, 비제로 초기화 시나리오에서 펜더의 뒷면이 완전히 검게 변하는 문제를 해결했다.
• 다양한 드라이빙 비디오에서 동일한 입력 이미지로부터 서로 다른 제어 가능한 3D 운동을 생성할 수 있어 높은 운동 다양성과 사용자 제어성을 입증했다.
• 비디오 간 텍스처 정밀화가 깜빡임을 감소시키고 시간적 일관성을 향상시켜, 단일 프레임 최적화 대비 정성적 비교에서 뚜렷한 개선을 보였다.
• 내보낸 애니메이티드 메시는 시간적으로 일관되며 Blender에서 렲링 가능하여 프레임워크의 실세계 3D 응용 분야에서의 실용적 배포 가능성을 확인했다.