[논문 리뷰] ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model

Fukun Yin, Xin Chen외 7명|arXiv (Cornell University)|2023. 11. 29.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

ShapeGPT는 VQ-VAE에서 유도된 형태 토큰을 사용하여 3D 형태, 텍스트 및 이미지를 단일 시퀀스-투-시퀀스 프레임워크에 통합하는 통합 다중모달 언어 모델을 제안한다. 지시 기반 생성을 통해 세 단계의 훈련 스킴을 활용함으로써, 텍스트-형태 변환, 형태 편집, 형태 완성 등 다양한 작업에서 최신 기술 성능(SOTA)을 달성하며, 하나의 아키텍처에서 강력한 일반화 능력과 다중모달 정렬 능력을 입증한다.

ABSTRACT

The advent of large language models, enabling flexibility through instruction-driven approaches, has revolutionized many traditional generative tasks, but large models for 3D data, particularly in comprehensively handling 3D shapes with other modalities, are still under-explored. By achieving instruction-based shape generations, versatile multimodal generative shape models can significantly benefit various fields like 3D virtual construction and network-aided design. In this work, we present ShapeGPT, a shape-included multi-modal framework to leverage strong pre-trained language models to address multiple shape-relevant tasks. Specifically, ShapeGPT employs a word-sentence-paragraph framework to discretize continuous shapes into shape words, further assembles these words for shape sentences, as well as integrates shape with instructional text for multi-modal paragraphs. To learn this shape-language model, we use a three-stage training scheme, including shape representation, multimodal alignment, and instruction-based generation, to align shape-language codebooks and learn the intricate correlations among these modalities. Extensive experiments demonstrate that ShapeGPT achieves comparable performance across shape-relevant tasks, including text-to-shape, shape-to-text, shape completion, and shape editing.

연구 동기 및 목표

• 텍스트, 이미지 및 3D 형태와 같은 다양한 모odal을 통합하는 통합적이고 지시 기반의 3D 형태 생성 모델에 대한 부족함을 보완한다.
• 형태 생성, 캡션 작성, 편집을 별개의 문제로 간주하는 작업별 특화 모델의 한계를 극복한다.
• 텍스트-형태 변환, 형태 편집, 완성 등 다양한 형태 관련 작업을 하나의 통합 아키텍처에서 처리할 수 있는 종합적 프레임워크를 개발한다.
• 형태 전용 VQ-VAE를 사용해 3D 형태를 언어 호환 토큰 공간으로 매핑함으로써, 영향력 있는 지시 기반 생성을 가능하게 한다.
• 형태, 이미지 및 텍스트 표현을 하나의 언어 모델 내에서 정렬하는 다중모달 사전 훈련 및 미세조정 파이프라인을 수립한다.

제안 방법

• 형태 인식 기반 벡터 양자화 변동 자동부호화기(VQ-VAE)를 사용해 3D 형태를 고정 길이의 형태 토큰으로 이산화함으로써 언어 모델의 토큰 공간에 통합 가능하게 한다.
• 시각적 트랜스포머와 시각-언어 퍼서버를 사용해 이미지를 표현하고, 시각적 특징을 언어 모델의 잠재 공간과 정렬한다.
• 형태 토큰, 텍스트 기술, 이미지 임베딩을 결합해 다중모달 문단을 구성하고, 종단 간 시퀀스-투-시퀀스 모델링을 위한 통합된 시퀀스를 구축한다.
• 세 단계 훈련 스킴을 구현한다: (1) 기초 형태 생성 및 캡션 작성용 형태 전용 데이터에서의 사전 훈련, (2) 이미지-형태-텍스트 트리플릿에서의 다중모달 미세조정을 통한 모달 간 정렬, (3) 작업별 행동을 학습하기 위한 지시 기반 생성.
• 모든 작업에서 통일된 형식의 출력을 생성하기 위해 핵심 언어 모델로 T5-base를 사용한다.
• 생성된 캡션과 진짜 애너테이션 간의 정렬을 위해 CLIP를 사용한 대비 손실을 적용하고, 형태 완성 및 편집 작업의 경우 재구성 메트릭스(IoU, CD, F-score)를 사용한다.

실험 결과

연구 질문

• RQ1 통합 다중모달 언어 모델이 단일 아키텍처를 통해 텍스트-형태 변환, 형태-텍스트, 형태 편집, 형태 완성 등 다양한 3D 형태 생성 작업을 효과적으로 처리할 수 있는가?
• RQ2 VQ-VAE를 통한 형태 토큰 통합이 언어 모델 프레임워크 내에서 일관된 3D 형태를 학습하고 생성하는 데 어떤 영향을 미치는가?
• RQ3 작업별 특화 미세조정 대비 지시 기반 훈련이 다양한 형태 관련 작업 간 일반화 능력을 얼마나 향상시키는가?
• RQ4 형태-언어 정렬에 대한 사전 훈련이 모델의 의미적이고 기하학적으로 타당한 형태 생성 능력에 미치는 영향은 어떠한가?
• RQ5 시퀀스 길이, 모델 크기, 사전 훈련이 다중모달 3D 생성 작업 성능에 미치는 영향은 어떠한가?

주요 결과

• ShapeGPT는 텍스트-형태 변환, 형태-텍스트, 형태 완성, 형태 편집 작업에서 최신 기술 성능(SOTA)을 달성했으며, 512 토큰 설정에서 IoU 0.570, CD 1.297, F-score 0.396의 성능을 기록했다.
• 제거 분석 결과, 512개의 형태 토큰(8×8×8 격자)가 더 짧은 시퀀스(64 토큰, 4×4×4 격자)보다 우수한 성능을 보였으며, 이는 해상도가 높을수록 기하학적 정밀도가 향상됨을 시사한다.
• T5-base 모델(220M 파라미터)이 T5-small(60M 파라미터)보다 우수한 성능을 보였으며, 동일한 훈련 설정에서 더 큰 모델 용량이 생성 품질 향상에 기여함을 입증한다.
• 사전 훈련이 성능 향상에 크게 기여함을 확인했으며, 사전 훈련 없이 학습한 모델은 일관된 형태나 모달 간 정렬을 생성하지 못함을 보여, 형태-언어 문법 학습을 위해 필수적임을 입증한다.
• 통합된 시퀀스-투-시퀀스 프레임워크는 아키텍처 변경 없이도 원활한 작업 전이를 가능하게 하여, ShapeGPT가 단일 추론 파이프라인 내에서 다양한 작업을 처리할 수 있음을 보여준다.
• 정량적 결과는 ShapeGPT가 모든 평가 지표에서 사전 훈련되지 않은 모델 및 기준 모델을 모두 능가함을 확인했으며, 이는 세 단계 훈련 스킴의 효과성을 입증한다.