[논문 리뷰] Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models

Huan Ling, Seung Wook Kim외 3명|arXiv (Cornell University)|2023. 12. 21.

Computer Graphics and Visualization Techniques인용 수 5

한 줄 요약

이 논문은 동적 3D 가우시안 스플래터링과 변형 필드를 4D 표현으로 사용하여 텍스트 기반 4D 동적 3D 시나리오 생성을 위한 새로운 방법인 Align Your Gaussians (AYG)를 제안한다. 텍스트-이미지, 텍스트-비디오, 3D 인식 다중시점 확산 모델에서 유도된 점수 분산 기법을 조합함으로써, AYG는 생생하고 시간적으로 일관되며 기하학적으로 정확한 애니메이션 3D 시나리오를 생성하는 데 최첨단 성능을 달성하며, 자동회귀 확장 및 시나리오 조합 기능을 지원한다.

ABSTRACT

Text-guided diffusion models have revolutionized image and video generation and have also been successfully used for optimization-based 3D object synthesis. Here, we instead focus on the underexplored text-to-4D setting and synthesize dynamic, animated 3D objects using score distillation methods with an additional temporal dimension. Compared to previous work, we pursue a novel compositional generation-based approach, and combine text-to-image, text-to-video, and 3D-aware multiview diffusion models to provide feedback during 4D object optimization, thereby simultaneously enforcing temporal consistency, high-quality visual appearance and realistic geometry. Our method, called Align Your Gaussians (AYG), leverages dynamic 3D Gaussian Splatting with deformation fields as 4D representation. Crucial to AYG is a novel method to regularize the distribution of the moving 3D Gaussians and thereby stabilize the optimization and induce motion. We also propose a motion amplification mechanism as well as a new autoregressive synthesis scheme to generate and combine multiple 4D sequences for longer generation. These techniques allow us to synthesize vivid dynamic scenes, outperform previous work qualitatively and quantitatively and achieve state-of-the-art text-to-4D performance. Due to the Gaussian 4D representation, different 4D animations can be seamlessly combined, as we demonstrate. AYG opens up promising avenues for animation, simulation and digital content creation as well as synthetic data generation.

연구 동기 및 목표

• 정적 3D 합성과 비디오 생성을 초월하여 효과적인 텍스트 기반 4D 동적 3D 시나리오 생성 방법의 부족을 해결하기 위해.
• 텍스트 프롬프트에서 고해상도, 시간적으로 일관되며 기하학적으로 정확한 3D 오브제 애니메이션을 생성하기 위해.
• 변경되는 텍스트 가이던스를 지원하는 장기적, 다양한, 반복 가능한 4D 시퀀스를 생성하기 위한 확장 가능하고 조합 가능한 프레임워크를 개발하기 위해.
• 신규 정규화 및 운동 증폭 기법을 통해 움직이는 3D 가우시안 최적화를 안정화하기 위해.

제안 방법

• AYG는 변형 필드를 통해 시간적 운동을 인코딩하는 동적 3D 가우시안을 사용하여 4D 시나리오를 표현한다.
• 텍스트-이미지, 텍스트-비디오, 3D 인식 다중시점 확산 모델의 기울기를 조합하는 구성적 점수 분산 프레임워크를 적용한다.
• 가우시안 분포의 평균과 분산을 운동 중에도 유지함으로써 최적화를 안정화하는 새로운 정규화 방법(제닝-섀넌 분산 기반)을 제안한다.
• 텍스트-비디오 모델에서 유도된 기울기를 확대하는 운동 증폭 메커니즘을 통해 감지 가능한 운동을 강화하면서도 일관성을 유지한다.
• 자동회귀적 생성 기법을 통해 시퀀스 간 변형 필드를 보간함으로써 4D 애니메이션을 연장하고 변화하는 텍스트 프롬프트를 지원한다.
• 4D 생성 단계에서 일관된 3D 시나리오 초기화를 보장하는 뷰 가이던스 방법을 도입하여 기하학적 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 2D, 3D, 비디오 확산 모델을 조합하는 구성적 확산 프레임워크가 텍스트에서 고품질의 동적 4D 시나리오를 효과적으로 생성할 수 있는가?
• RQ2 움직이는 3D 가우시안의 분포를 어떻게 정규화하여 최적화를 안정화하고 애니메이션 중 기하학적 일관성을 유지할 수 있는가?
• RQ3 운동 증폭과 자동회귀적 확장 기법을 통해 변화하는 텍스트 가이던스를 지원하는 장기적, 부드럽고 반복 가능한 4D 시퀀스를 생성할 수 있는가?
• RQ4 다양한 4D 애니메이션을 가우시안 기반 4D 표현을 통해 얼마나 잘 조합하고 통합할 수 있는가?
• RQ5 기존 최첨단 접근법과 비교하여 제안된 방법은 정량적·정성적 측면에서 어떤 성능을 보이는가?

주요 결과

• AYG는 Make-A-Video3D와 같은 이전 방법들보다 정량적·정성적 지표에서 모두 최첨단 성능을 달성한다.
• 메서드는 변화하는 텍스트 프롬프트를 지원하는 장기적 자동회귀 확장 4D 시퀀스를 성공적으로 생성하며, 초기 자세로 복귀하여 반복 가능한 애니메이션을 가능하게 한다.
• 운동 증폭 기법은 감지 가능한 운동을 크게 향상시키지만, 시간적 일관성과 시각적 품질을 유지한다.
• 4D 가우시안 표현을 사용함으로써 다수의 동적 4D 시나리오를 원활하게 조합할 수 있어 강력한 조합성과 모듈성을 입증한다.
• fps 조건부 텍스트-비디오 확산 모델은 운동 강도를 영리하게 제어할 수 있으며, 낮은 fps는 더 동적인 운동을, 높은 fps는 더 부드러운 전환을 보장한다.
• AYG는 정확한 추적 레이블을 자연스럽게 생성하므로, 후속 작업에서 합성 데이터 생성에 매우 적합하다.