Skip to main content
QUICK REVIEW

[논문 리뷰] DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

Jiaxiang Tang, Jiawei Ren|arXiv (Cornell University)|2023. 09. 28.
Computer Graphics and Visualization TechniquesComputer Science인용 수 72
한 줄 요약

DreamGaussian은 3D 가우시안 스플래팅을 생성 작업에 적용하여 이미지나 텍스트에서 분 단위로 텍스처가 있는 메시를 얻을 수 있는 두 단계 파이프라인으로 빠르고 고품질의 3D 자산 생성을 가능하게 한다.

ABSTRACT

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.

연구 동기 및 목표

  • 긴 샘플당 최적화 없이 오픈 보캐뷸러리 이미지-대-3D 및 텍스트-대-3D 자산 생성을 촉진한다.
  • 지오메트리와 외관 최적화를 가속화하기 위해 3D 가우시안 스플래팅을 활용한다.
  • 메시 추출 및 UV-스페이스 텍스처 정제를 통해 고품질 텍스처 메시를 내보내기를 가능하게 한다.

제안 방법

  • 3D 콘텐츠를 최적화 가능한 3D Gaussian 집합(중심, 스케일, 회전, 불투명도, 색상)으로 표현한다.
  • 생성 최적화 진행에 맞춰 Gaussians의 점진적 밀집화(주기적 분할)를 사용한다.
  • 이미지-대-3D 및 텍스트-대-3D 작업을 위해 2D 확산 사전지(SDS)로 가우시안을 최적화한다.
  • 블록 단위 로컬 밀도 질의 및 Marching Cubes를 통해 가우시안에서 텍스처가 있는 메시를 추출한 다음 텍스처를 굽기 위해 색상 역투영(back-projection)을 수행한다.
  • SDS로 인한 텍스처 아티팩트를 피하기 위해 MSE 손실을 사용하는 확산-가이드 이미지 공간 감독 단계로 UV 공간에서 메시 텍스처를 정제한다.
  • 2단계는 거친 렌더를 섭동하고 2D 확산 사전으로 노이즈 제거하며 픽셀 단위 손실로 텍스처를 최적화하는 이미지 공간 정제를 활용한다(SDEdit에서 영감을 받음).

실험 결과

연구 질문

  • RQ1생성적 3D 가우시안이 NeRF 기반 방법과 비교했을 때 오픈 보캐뷸러리 이미지-및 텍스트-대-3D 생성에 더 빠른 수렴을 제공할 수 있는가?
  • RQ23D 가우시안의 점진적 밀집화가 생성적 설정에서 최적화 효율을 향상시키는가?
  • RQ3가우시안 기반 재구성을 다운스트림 사용에 적합한 고품질 텍스처 메시로 변환하는 견고한 파이프라인이 있는가?
  • RQ4Gaussian에서 추출된 메시의 SDS 주도 정제를 넘어 UV 공간 텍스처 정제가 텍스처 충실도를 향상시키는가?

주요 결과

  • DreamGaussian은 단일 시점에서 약 2분 만에 고품질 텍스처 메시를 달성하며 기존 방법에 비해 약 10× 가속을 제공합니다.
  • 스테이지 1(가우시안 생성)은 이미지-대-3D의 경우 단일 GPU에서 약 500 단계, 텍스트-대-3D의 경우 2분에 수렴하며 훈련 중 5000개의 초기 가우시안이 밀집됩니다.
  • 3D 가우시안으로부터의 효율적인 메시 추출은 로컬 밀도 질의와 역색상 투영으로 달성되며 Marching Cubes 표면 추출 및 텍스처 굽기를 가능하게 합니다.
  • 확산-가이드 이미지 공간 감독 단계를 통한 UV 공간 텍스처 정제가 SDS로 인한 UV 아티팩트를 방지하며 텍스처 디테일을 향상시킵니다.
  • 정성적 및 정량적 결과는 DreamGaussian이 생성 속도와 품질의 균형을 이룬다고 보이며, 추론 전용 방법을 능가하고 최적화 기반 방법에 가까운 충실도를 보이면서도 10배 이상 빠릅니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.