Skip to main content
QUICK REVIEW

[논문 리뷰] LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes

Jaeyoung Chung, Suyong Lee|arXiv (Cornell University)|2023. 11. 22.
Generative Adversarial Networks and Image SynthesisComputer Science인용 수 12
한 줄 요약

LucidDreamer는 Dreaming과 Alignment를 통해 다중 시점 일관성 포인트 클라우드를 구축한 뒤 Gaussian splats를 렌더링에 최적화하여 텍스트, RGB, 또는 RGBD 입력으로부터 다양하고 고품질의 3D 장면을 생성합니다. 또한 Stable Diffusion과 깊이 추정을 활용하여 도메인-프리 도메인 프리 3D 장면 생성을 달성합니다.

ABSTRACT

With the widespread usage of VR devices and contents, demands for 3D scene generation techniques become more popular. Existing 3D scene generation models, however, limit the target scene to specific domain, primarily due to their training strategies using 3D scan dataset that is far from the real-world. To address such limitation, we propose LucidDreamer, a domain-free scene generation pipeline by fully leveraging the power of existing large-scale diffusion-based generative model. Our LucidDreamer has two alternate steps: Dreaming and Alignment. First, to generate multi-view consistent images from inputs, we set the point cloud as a geometrical guideline for each image generation. Specifically, we project a portion of point cloud to the desired view and provide the projection as a guidance for inpainting using the generative model. The inpainted images are lifted to 3D space with estimated depth maps, composing a new points. Second, to aggregate the new points into the 3D scene, we propose an aligning algorithm which harmoniously integrates the portions of newly generated 3D scenes. The finally obtained 3D scene serves as initial points for optimizing Gaussian splats. LucidDreamer produces Gaussian splats that are highly-detailed compared to the previous 3D scene generation methods, with no constraint on domain of the target scene. Project page: https://luciddreamer-cvlab.github.io/

연구 동기 및 목표

  • 3D 스캔 및 도메인 제약 데이터 너머의 도메인-프리 3D 장면 생성을 촉진한다.
  • 대형 확산 모델을 활용하여 3D 구성으로 안내하는 다중 시점 일관 이미지를 생성한다.
  • Dreaming과 Alignment라는 두 단계 파이프라인을 개발하여 통합된 3D 포인트 클라우드를 구축한다.
  • 구축된 포인트 클라우드에서 Gaussian splatting 표현을 최적화하여 고품질 렌더링을 달성한다.

제안 방법

  • Dreaming: 카메라를 궤적을 따라 이동시키고, 보이는 포인트 클라우드 영역을 투사하고, 마스킹된 영역을 Stable Diffusion으로 인페인트하고, 깊이를 추정한 뒤 3D로 올려 포인트 클라우드를 확장한다.
  • Alignment: 카메라 광선에 따라 포인트를 이동시키고 깊이를 보간하여 새 3D 포인트를 기존 구름에 정렬하여 매끄럽고 연결된 장면을 만든다.
  • Complete 포인트 클라우드 P_N을 구성하기 위해 Dreaming과 Alignment를 반복하여 다중 시점 일관성을 가능하게 한다.
  • 구축된 포인트 클라우드와 투사된 이미지를 사용해 3D Gaussian splatting 모델을 학습시키고 렌더링 및 정제를 수행하며, 커버리지를 개선하기 위한 추가 합성 뷰를 활용한다.
  • 깊이는 d_i 스케일 팩터를 통해 새로운 3D 포인트와 기존 포인트 간의 차이를 최소화하도록 조정되어 일관된 3D 기하를 보장한다.

실험 결과

연구 질문

  • RQ1도메인-프리 파이프라인이 텍스트, RGB, RGBD 등 다양한 입력 유형에서 다중 시점 일관성과 고품질 3D 장면을 신뢰성 있게 생성할 수 있는가?
  • RQ2확산 기반 인페인팅, 깊이 추정 및 정렬을 어떻게 통합하여 응집력 있고 고충실도의 3D Gaussian splatting 장면을 생산할 수 있는가?
  • RQ3Gaussian splatting 최적화가 포인트 클라우드만 표현보다 렌더링 품질을 개선하고 깊이 공백을 채우는가?

주요 결과

  • LucidDreamer는 실제적(Realistic), 애니메(Anime), 레고(Lego) 등 다양한 도메인에서 이전의 도메인 제한 메서드보다 더 높은 품질의 3D 장면을 산출한다.
  • Dreaming과 Alignment 프로세스는 다중 시점 일관성을 가능하게 하고 새로 생성된 장면 부분의 매끄러운 통합을 단일 3D 모델로 만들어 준다.
  • Gaussian splatting 최종화는 초기 포인트 클라우드를 넘어 구멍을 채우고 렌더링 현실감을 향상시킨다.
  • CLIP 기반 지표를 사용한 정량적 비교는 여러 데이터셋에서 RGBD2에 비해 인지적 품질과 일관성이 우수하다는 것을 시사한다.
  • 이 방법은 텍스트, RGB, RGBD 등 다양한 입력 유형을 지원하며 생성 중 혼합 입력 조건을 허용한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.