[논문 리뷰] ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model

Rao Fu, Xiao Zhan외 3명|arXiv (Cornell University)|2022. 07. 19.

3D Shape Modeling and Analysis인용 수 26

한 줄 요약

ShapeCrafter는 변환기 기반 자동회귀 모델과 대규모 Text2Shape++ 데이터셋을 사용하여 더 많은 구문이 추가될수록 모양 분포가 진화하도록 재귀적인 텍스트-조건 3D 형태 생성을 도입하고, 이를 통해 편집 및 외삽을 가능하게 한다.

ABSTRACT

We present ShapeCrafter, a neural network for recursive text-conditioned 3D shape generation. Existing methods to generate text-conditioned 3D shapes consume an entire text prompt to generate a 3D shape in a single step. However, humans tend to describe shapes recursively-we may start with an initial description and progressively add details based on intermediate results. To capture this recursive process, we introduce a method to generate a 3D shape distribution, conditioned on an initial phrase, that gradually evolves as more phrases are added. Since existing datasets are insufficient for training this approach, we present Text2Shape++, a large dataset of 369K shape-text pairs that supports recursive shape generation. To capture local details that are often used to refine shape descriptions, we build on top of vector-quantized deep implicit functions that generate a distribution of high-quality shapes. Results show that our method can generate shapes consistent with text descriptions, and shapes evolve gradually as more phrases are added. Our method supports shape editing, extrapolation, and can enable new applications in human-machine collaboration for creative design.

연구 동기 및 목표

• 단일 프롬프트를 넘어 구절별로 재귀적인 3D 형태 생성을 촉진한다.
• 구절 시퀀스와 함께 재귀 생성을 지원하기 위한 데이터셋(Text2Shape++)를 개발한다.
• 미세한 디테일을 포착하기 위해 3D 형태를 지역 잠재 특징의 분포로 표현하고 발전시킨다.
• 3D 생성에서 형상 편집, 외삽 및 긴 구절 시퀀스의 구문 조건화를 가능하게 한다.

제안 방법

• 3D 잠재 특징 인덱스 격자로 형태를 인코딩하기 위해 벡터 양자화된 심층 암시 함수(P-VQ-VAE)를 사용한다.
• 미세 조정된 BERT 모델로 텍스트 특성을 추출하고 이를 3D 격자 해상도로 투영한다.
• 텍스트와 이전 단계에 조건화된 격자 특징의 결합 분포를 자동회귀적으로 모델링한다.
• 구절 시퀀스에 대한 형태를 여러 실제 모양을 포착하기 위해 확률적 형태 집합 Z 세트로 표현한다.
• 재귀 생성을 학습하기 위해 Text2Shape++로 학습하고, 재정렬된 입력을 가진 랜덤 트랜스포머를 사용하여 강건한 시퀀스 처리를 한다.

실험 결과

연구 질문

• RQ1 구절별 재귀적 텍스트 설명이 이전 세부 정보를 보존하면서 3D 형상 분포를 점진적으로 정제할 수 있는가?
• RQ2 Text2Shape++가 긴 구절 시퀀스에 걸친 재귀적 형태 생성에 대해 효과적인 학습을 가능하게 하는가?
• RQ3 분포로 인코딩된 형태 세트가 단일 형상 기준선에 비해 더 높은 정밀도와 편집 기능을 가능하게 하는가?
• RQ4 ShapeCrafter는 긴 구절 시퀀스에서 어떻게 동작하고 새로운 설명으로 외삽하는가?

주요 결과

지표	Mittal et al. [33]	ShapeCrafter (Ours)
CLIP-S↑	48.92	52.43
SGLOT-C↑	0.46	0.53
FID↓	18.45	16.36

• ShapeCrafter는 CLIP-Similarity 및 ShapeGlot-Confidence 지표에서 단일 단계 기준선(AutoSDF)보다 텍스트-형상 일치도와 형상 품질이 더 높다.
• 본 방법은 FID 점수를 더 낮게 만들어 형상 세부 품질이 향상되며, 구절 시퀀스 길이가 증가해도 성능을 유지하거나 향상된다.
• ShapeCrafter는 추가된 구절과 일관되게 진화하는 형상을 생성하여 점진적 편집 및 새로운 설명으로의 외삽을 가능하게 한다.
• 더 많은 구절이 추가될수록 그리드별 분포의 엔트로피가 감소하여 더 긴 프롬프트에서 점점 결정론적인 형상 생성을 보인다.
• 아블레이션 결과는 조건부 학습, 랜덤 트랜스포머 및 입력 시퀀스 순서가 모두 CLIP-Similarity를 높이고 FID를 낮추는 데 기여함을 보여준다.