[논문 리뷰] CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets

Longwen Zhang, Ziyu Wang외 7명|arXiv (Cornell University)|2024. 05. 30.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

CLAY는 15억 파라미터, 3차원 기반의 생성 모델로, 다중 해상도 VAE와 잠재 Diffusion Transformer를 통해 텍스트, 이미지 또는 3차원 기하도형을 이용해 고해상도이고 제어 가능한 3차원 자산 생성을 가능하게 한다. 텍스트에서 3차원으로, 이미지에서 3차원으로의 작업에서 사용자 연구를 통해 기하학적 품질에서 78.9% 향상, 외관 품질에서 85.4% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the realm of digital creativity, our potential to craft intricate 3D worlds from imagination is often hampered by the limitations of existing digital tools, which demand extensive expertise and efforts. To narrow this disparity, we introduce CLAY, a 3D geometry and material generator designed to effortlessly transform human imagination into intricate 3D digital structures. CLAY supports classic text or image inputs as well as 3D-aware controls from diverse primitives (multi-view images, voxels, bounding boxes, point clouds, implicit representations, etc). At its core is a large-scale generative model composed of a multi-resolution Variational Autoencoder (VAE) and a minimalistic latent Diffusion Transformer (DiT), to extract rich 3D priors directly from a diverse range of 3D geometries. Specifically, it adopts neural fields to represent continuous and complete surfaces and uses a geometry generative module with pure transformer blocks in latent space. We present a progressive training scheme to train CLAY on an ultra large 3D model dataset obtained through a carefully designed processing pipeline, resulting in a 3D native geometry generator with 1.5 billion parameters. For appearance generation, CLAY sets out to produce physically-based rendering (PBR) textures by employing a multi-view material diffusion model that can generate 2K resolution textures with diffuse, roughness, and metallic modalities. We demonstrate using CLAY for a range of controllable 3D asset creations, from sketchy conceptual designs to production ready assets with intricate details. Even first time users can easily use CLAY to bring their vivid 3D imaginations to life, unleashing unlimited creativity.

연구 동기 및 목표

• 사용자가 상상하는 바를 디지털 3차원 생성으로 쉽게 연결하기 위해 고해상도 3차원 자산 생성을 용이하게 하는 것.
• 기존 3차원 생성 도구에서 요구하는 높은 전문 지식과 수작업의 제한을 극복하는 것.
• 다양한 모odal(텍스트, 이미지, 3차원 기하도형)을 고려해 기하학적 및 재질 정확도가 높은 확장 가능한 3차원 기반 생성 모델을 개발하는 것.
• 확장 가능한 3차원 생성 모델링을 지원하기 위해 대규모 고품질 3차원 데이터셋과 훈련 파이프라인을 구축하는 것.
• 초보자와 전문가 모두가 최소한의 노력으로 복잡하고 제작용 3차원 자산을 생성할 수 있도록 하는 것.

제안 방법

• CLAY는 다양한 3차원 기하도형에서 계층적인 3차원 사전 지식을 추출하기 위해 다중 해상도 변동형 자동부호화기(VAE)를 사용하여 효율적인 잠재 공간 표현을 가능하게 한다.
• 낮은 복잡도의 잠재 Diffusion Transformer(DiT)를 잠재 공간에서 사용하여 기하학적 정확도가 높은 연속적이고 완전한 3차원 표면을 생성한다.
• 표준화된 처리 파이프라인에서 유래한 초대규모 3차원 데이터셋에서 효율적으로 CLAY를 확장하기 위해 점진적 훈련 기법을 적용한다.
• 외관 생성을 위해 CLAY는 다중 시점 재질 Diffusion 모델을 사용하여 2K 해상도의 PBR 텍스처를 반사율, 거칠기, 금속성 모달리티로 생성한다.
• 텍스트, 이미지, 다중 시점 이미지, 볼륨, 경계 상자, 점군, 암묵적 표현 등을 포함한 다중 모odal 제어 입력을 지원한다.
• GPT-4V 기반 자동 주석 시스템은 훈련 데이터 파이프라인의 데이터 효율성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 3차원 기반 생성 모델이 다양한 입력 모달리티에서 고해상도 기하학적 및 재질 생성을 달성할 수 있는가?
• RQ2 다중 해상도 VAE와 함께 사용된 잠재 Diffusion Transformer는 2D 기반 또는 직접 3차원 최적화 방법에 비해 3차원 생성 품질을 어떻게 향상시키는가?
• RQ3 텍스트만으로 '호랑이가 오토바이를 타고 있는' 것처럼 복잡한 구성된 3차원 객체에 대해 CLAY는 얼마나 잘 일반화되는가?
• RQ4 텍스트에서 3차원으로, 이미지에서 3차원으로의 작업에서 CLAY의 성능은 기하학적 품질과 외관 품질 측면에서 최신 기술 모델과 비교해 어떻게 되는가?
• RQ5 대규모 표준화된 3차원 데이터셋과 점진적 훈련 기법은 모델의 확장성과 생성 품질에 어떤 영향을 미치는가?

주요 결과

• 텍스트에서 3차원으로의 생성 작업에서 CLAY는 기하학적 품질에 대해 사용자 선호도 78.9%를 기록했으며, 이는 RichDreamer(약 2시간의 최적화가 필요)에 비해 약 45초의 시간으로 훨씬 빠른 성능을 보였다.
• 이미지에서 3차원으로의 생성 작업에서 CLAY는 기하학적 품질에 대해 91.2%의 사용자 선호도를 확보했고, 외관 품질에 대해서는 85.4%를 기록하여 뛰어난 성능과 빠른 처리 속도를 입증했다.
• CLAY는 반사율, 거칠기, 금속성 채널 모두에서 고정밀도의 2K 해상도 PBR 텍스처를 생성하여 현실적인 물리 기반 렌더링을 가능하게 했다.
• 텍스트, 이미지, 다양한 3차원 기하도형 형식 등에 대한 다양한 3차원 제어에 강력한 일반화 능력을 보이며, 영리하고 직관적인 디자인 워크플로우를 가능하게 했다.
• GPT-4V를 활용한 자동 주석 처리와 표준화된 리메시팅을 통해 향상된 CLAY의 훈련 파이프라인은 초대규모 3차원 데이터셋에서 데이터 일관성과 확장성을 확보했다.
• 단일 객체에 대해 뛰어난 성능를 보였지만, '호랑이가 오토바이를 타고 있는' 것처럼 복잡한 구성된 장면을 생성하는 데에는 텍스트 입력의 풍부한 기술적 세부 정보 부족과 훈련 데이터 부족으로 한계를 보였다.