[논문 리뷰] Pushing the Limits of 3D Shape Generation at Scale

Yu Wang, Xuelin Qian외 4명|arXiv (Cornell University)|2023. 06. 20.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 삼중 평면 잠재 표현, 이산 코드북을 통한 양자화, 그리고 트랜스포머 기반 조건부 생성을 활용하는 36억 파라미터의 자동회귀적 3D 형상 생성 모델인 Argus-3D를 소개한다. 이 모델은 다양한 3D 레포지토리에서 구성된 90만 개의 객체로 구성된 데이터셋을 훈련시켜, 품질과 다양성 측면에서 최신 기준 성능을 달성한다. 텍스트, 이미지, 클래스 기반 3D 생성에서 FPD(0.774)와 TMD(5.136 × 10²) 점수 측면에서 새로운 기준을 설정한다.

ABSTRACT

We present a significant breakthrough in 3D shape generation by scaling it to unprecedented dimensions. Through the adaptation of the Auto-Regressive model and the utilization of large language models, we have developed a remarkable model with an astounding 3.6 billion trainable parameters, establishing it as the largest 3D shape generation model to date, named Argus-3D. Our approach addresses the limitations of existing methods by enhancing the quality and diversity of generated 3D shapes. To tackle the challenges of high-resolution 3D shape generation, our model incorporates tri-plane features as latent representations, effectively reducing computational complexity. Additionally, we introduce a discrete codebook for efficient quantization of these representations. Leveraging the power of transformers, we enable multi-modal conditional generation, facilitating the production of diverse and visually impressive 3D shapes. To train our expansive model, we leverage an ensemble of publicly-available 3D datasets, consisting of a comprehensive collection of approximately 900,000 objects from renowned repositories such as ModelNet40, ShapeNet, Pix3D, 3D-Future, and Objaverse. This diverse dataset empowers our model to learn from a wide range of object variations, bolstering its ability to generate high-quality and diverse 3D shapes. Extensive experimentation demonstrate the remarkable efficacy of our approach in significantly improving the visual quality of generated 3D shapes. By pushing the boundaries of 3D generation, introducing novel methods for latent representation learning, and harnessing the power of transformers for multi-modal conditional generation, our contributions pave the way for substantial advancements in the field. Our work unlocks new possibilities for applications in gaming, virtual reality, product design, and other domains that demand high-quality and diverse 3D objects.

연구 동기 및 목표

• 기존 3D 형상 생성 모델이 고품질, 다각도, 고해상도의 형상을 생성하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 자동회귀적 3D 생성을 기존에 보다 훨씬 큰 모델 크기와 데이터 스케일로 확장하여 더 풍부하고 복잡한 형상 합성 능력을 향상시키기 위해.
• CLIP 기반 텍스트 및 이미지 특징을 통합된 3D 생성 프레임워크에 통합하여 다중 모odal 조건부 생성의 성능을 향상시키기 위해.
• 효율적인 삼중 평면 잠재 표현과 이산 코드북 양자화를 통해 3D 생성의 계산 복잡도를 감소시키기 위해.
• 다양하고 넓은 범위의 공개 3D 데이터셋을 기반으로 훈련하여 3D 형상 생성 분야의 새로운 기준을 설정하기 위해.

제안 방법

• 3D 형상 생성에 적합한 자동회귀 모델 아키텍처를 변형하여 총 36억 개의 학습 가능한 파라미터를 확보함으로써, 지금까지 가장 큰 크기의 유사 모델을 구현함.
• 계산 복잡도를 감소시키면서도 공간적 구조를 유지하기 위해 삼중 평면 특징을 3D 잠재 표현으로 활용함.
• 삼중 평면 특징를 양자화하기 위해 이산 코드북을 도입하여 트랜스포머 기반의 효율적 시퀀스 모델링을 가능하게 함.
• CLIP 임bedded 특징을 통해 텍스트, 이미지 또는 클래스 레이블에 조건부로 양자화된 잠재 시퀀스를 예측하는 트랜스포머 기반 디코더를 활용함.
• ModelNet40, ShapeNet, Pix3D, 3D-Future, Objaverse 등에서 수집한 90만 개의 3D 객체로 구성된 정제된 데이터셋을 기반으로 모델을 훈련시켜 광범위한 일반화 능력을 확보함.
• CLIP를 활용한 다중 모달 조건부 생성을 적용하여, 고해상도의 제로샷 텍스트-에서-3D 생성 및 이미지-에서-3D 생성을 실현함.

실험 결과

연구 질문

• RQ1 36억 파라미터로 확장된 자동회귀적 3D 생성이 형상 품질과 다양성 측면에서 상당한 향상을 이끌 수 있는가?
• RQ2 삼중 평면 잠재 표현과 이산 코드북 양자화의 조합이 계산 비용을 감소시키면서도 3D 구조를 유지하는 데 얼마나 효과적인가?
• RQ3 단일 통합 모델이 텍스트, 이미지, 클래스 레이블 등 다양한 모달리티에서 고해상도 3D 형상을 얼마나 잘 생성할 수 있는가?
• RQ4 90만 개의 객체로 구성된 대규모이고 다양한 데이터셋에서 훈련된 모델이 암기 초월하여 3D 형상의 기저 분포를 학습할 수 있는가?
• RQ5 이미지 기반 3D 생성에서 높은 다양성과 해상도를 유지하면서도 최신 기준 수준의 성능을 달성할 수 있는가?

주요 결과

• Argus-3D 모델은 이미지 기반 생성에서 Fréchet Point Cloud Distance(FPD) 점수 0.774를 기록하여 이전 최신 기준 기술을 뛰어넘음.
• 이미지 기반 생성에서 총 상호차이(TMD) 점수 5.136 × 10²를 기록하여 기존 모델 대비 뛰어난 다양성 확보함.
• 텍스트 기반 제로샷 생성에서는 세밀하고 의미적으로 일치하는 3D 형상을 생성하여 이전의 제로샷 접근 방식을 시각적 품질과 다양성 측면에서 모두 초월함.
• Pix3D의 실제 이미지에 대해 강력한 일반화 능력을 보이며, 생성된 3D 형상에서 핵심 객체 속성을 정확히 재구성함.
• Chamfer Distance 최근접 이웃 분석을 통한 검증 결과, 모델이 훈련 데이터를 암기하는 것이 아니라 새로운 형상을 생성함을 확인함.
• 이미지 기반, 텍스트 기반, 클래스 기반 3D 생성 벤치마크에서 평가된 모든 지표에서 최신 기준 성능 달성함.