[논문 리뷰] 3DGen: Triplane Latent Diffusion for Textured Mesh Generation

Anchit Gupta, Wenhan Xiong외 3명|arXiv (Cornell University)|2023. 03. 09.

3D Shape Modeling and Analysis인용 수 33

한 줄 요약

3DGen은 트리플레인 VAE와 확산 모델을 활용한 2단계 파이프라인으로 범주 간 고품질 텍스처링 메쉬를 생성하며, 이미지-, 텍스트- 및 무조건 생성의 강력한 확장성을 제공합니다.

ABSTRACT

Latent diffusion models for image generation have crossed a quality threshold which enabled them to achieve mass adoption. Recently, a series of works have made advancements towards replicating this success in the 3D domain, introducing techniques such as point cloud VAE, triplane representation, neural implicit surfaces and differentiable rendering based training. We take another step along this direction, combining these developments in a two-step pipeline consisting of 1) a triplane VAE which can learn latent representations of textured meshes and 2) a conditional diffusion model which generates the triplane features. For the first time this architecture allows conditional and unconditional generation of high quality textured or untextured 3D meshes across multiple diverse categories in a few seconds on a single GPU. It outperforms previous work substantially on image-conditioned and unconditional generation on mesh quality as well as texture generation. Furthermore, we demonstrate the scalability of our model to large datasets for increased quality and diversity. We will release our code and trained models.

연구 동기 및 목표

• 단일 카테고리 모델을 넘어서는 확장 가능하고 고품질의 3D 텍스처드 메쉬 생성을 동기화한다.
• 텍스처가 있는 메쉬와 없는 메쉬 생성을 모두 가능하게 하는 두 단계 아키텍처를 개발하여, 텍스처드 메쉬의 간결한 트리플레인 잠재 표현을 학습하고 확산을 통해 이를 생성한다.
• 이미지나 텍스트 조건으로 GPU 기반 추론이 효율적으로 가능하도록 텍스처가 있거나 없는 메쉬 생성을 모두 가능하게 한다.

제안 방법

• 색채가 있는 점 구름을 3D 인지 트리플레인 잠재 특징으로 인코딩하고, 미분 가능 마칭 테트라이드를 통해 텍스처가 적용된 메쉬로 디코딩하는 트리플레인 VAE를 학습한다.
• 이미지-텍스트 임베딩에 조건부이거나 무조건적으로 트리플레인 특성을 생성하도록 전개된 트리플레인에서 작동하는 확산 모델을 학습한다.
• VAE 학습에 미분 가능 렌더러와 DMTet를 사용하는 렌더링 기반 손실과 함께 KL, 스무딩, 재구성 항을 사용한다.
• 교차 어텐션 없이 AdaGN 기반 조건부로 고정된 이미지-텍스트 바이 인코더를 통해 이미지 임베딩에 확산을 조건화하고, 확장 가능한 텍스트 조건 생성을 가능하게 한다.
• 나중 단계에서 더 높은 해상도의 사면체 격자로 확산을 미세 조정하여 세부 묘사와 음영을 개선한다.

실험 결과

연구 질문

• RQ1 다양한 범주에서 고품질의 조건부 및 무조건 텍스처 메쉬를 학습할 수 있는 두 단계 프레임워크가 가능할까?
• RQ2 이미지 임베딩이나 텍스트 임베딩으로 확산에 조건을 거는 것이 무조건 생성에 비해 기하학적 정확도와 텍스처 충실도를 향상시키는가?
• RQ3 데이터 규모(예: 대규모 Objaverse 유사 데이터셋으로 사전 학습)가 기하학적 정확도와 텍스처 품질에 어떤 영향을 미치는가?
• RQ4 어떤 아키텍처 선택(조건화 방식, VAE 해상도, 표면 텍스처 모델링)이 메쉬 품질과 텍스처 충실도에 가장 큰 영향을 미치는가?

주요 결과

• 3DGen은 다중 설정에서 기존 연구에 비해 상당한 향상을 보인다: 무조건 기하학 생성은 NFD 대비 23% FiD 개선, 무조건 색상 메쉬 생성은 최대 70% FiD 개선, 텍스트 조건의 기하 생성은 SoTA 3DILG 대비 15-20% 개선.
• 두 단계 트리플레인 접근 방식은 단일 GPU에서 몇 초 만에 범주 전반의 텍스처가 있는 또는 없는 메쉬를 조건부 및 무조건으로 생성 가능하게 한다.
• 대규모 데이터셋(Objaverse + 3D Warehouse)에서의 사전 학습은 Chamfer 거리와 FiD 점수를 향상시키며, 자원 부족 범주에서 더 두드러진 이득이 있다.
• 텍스트 임베딩을 이용한 텍스트 조건 생성은 프롬프트에 잘 정렬된 객체 생성을 보여주며, 단순 프롬프트 기반 조건화의 방법의 유연성을 보여준다.