[논문 리뷰] ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation

Zhengzhe Liu, Peng Dai외 3명|arXiv (Cornell University)|2022. 09. 09.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 텍스트와 3D 형태 간의 의미적 격차를 극복하기 위해 쌍화된 텍스트-형태 데이터셋을 필요로 하지 않고, 2D 이미지를 중간 단계로 활용하는 새로운 텍스트 유도 3D 형태 생성 프레임워크인 ISS를 제안한다. CLIP의 공동 텍스트-이미지 임베딩과 사전 훈련된 단일 시점 복원 모델을 활용하여, 두 단계의 특징 공간 정렬을 수행함으로써 85초 이내에 고해상도이자 일관성 있는 3D 형태를 생성하며, 기존 방법들보다 정밀도, 일관성, 스타일링 능력에서 뛰어난 성능을 보인다.

ABSTRACT

Text-guided 3D shape generation remains challenging due to the absence of large paired text-shape data, the substantial semantic gap between these two modalities, and the structural complexity of 3D shapes. This paper presents a new framework called Image as Stepping Stone (ISS) for the task by introducing 2D image as a stepping stone to connect the two modalities and to eliminate the need for paired text-shape data. Our key contribution is a two-stage feature-space-alignment approach that maps CLIP features to shapes by harnessing a pre-trained single-view reconstruction (SVR) model with multi-view supervisions: first map the CLIP image feature to the detail-rich shape space in the SVR model, then map the CLIP text feature to the shape space and optimize the mapping by encouraging CLIP consistency between the input text and the rendered images. Further, we formulate a text-guided shape stylization module to dress up the output shapes with novel textures. Beyond existing works on 3D shape generation from text, our new approach is general for creating shapes in a broad range of categories, without requiring paired text-shape data. Experimental results manifest that our approach outperforms the state-of-the-arts and our baselines in terms of fidelity and consistency with text. Further, our approach can stylize the generated shapes with both realistic and fantasy structures and textures.

연구 동기 및 목표

• 대규모 쌍화된 텍스트-형태 데이터셋에 의존하지 않고 텍스트 유도 3D 형태 생성 문제를 해결하기 위해.
• 기존 방법에서 정밀도와 일관성을 저해하는 텍스트와 3D 형태 간의 상당한 의미적 격차를 해소하기 위해.
• 실제 및 환상적인 구조와 질감을 포함한 광범위한 카테고리에 걸쳐 다양한 3D 형태를 생성할 수 있도록 하기 위해.
• 기존 최적화 기반 방법들(예: Dream Fields)에 비해 추론 시간을 크게 단축하기 위해.
• 입력 텍스트와 생성된 형태의 시각 간에 강력한 CLIP 일관성을 확보하여 의미적 정렬을 향상시키기 위해.

제안 방법

• 두 단계의 특징 공간 정렬 프레임워크를 도입함: 먼저, 다중 시점 감독 하에 사전 훈련된 단일 시점 복원(SVR) 모델을 통해 CLIP 이미지 특징을 세밀한 3D 형태 공간으로 매핑.
• 두 번째로, 입력 텍스트와 생성된 형태의 렌더링 이미지 간의 CLIP 일관성 손실을 이용해 매핑기의 미세조정을 수행하여 텍스트-형태 정렬을 향상시킴.
• CLIP 이미지 및 텍스트 특징을 동일한 형태 특징 공간으로 매핑하는 CLIP2Shape 매핑기를 활용하며, CLIP의 공동 임베딩 공간을 활용함.
• 사전 훈련된 SVR 모델을 활용해 생성 과정에 강력한 3D 형태 사전 지식을 통합함으로써 고해상도 복원을 가능하게 함.
• 텍스트 유도 형태 스타일라이제이션 모듈을 적용하여 훈련 분포를 초월한 새로운 구조와 질감을 생성함.
• 점유도, 색상, 배경, CLIP 일관성 손실의 조합을 최적화하여 다중 시점 일관성과 의미적 정렬을 보장함.

실험 결과

연구 질문

• RQ1 2D 이미지가 제로샷 3D 생성에서 텍스트와 3D 형태 간의 의미적 격차를 효과적으로 해소하는 데 중간 단계로 기능할 수 있는가?
• RQ2 쌍화된 텍스트-형태 데이터 없이도 두 단계의 특징 공간 정렬 전략이 텍스트-3D 형태 일관성을 향상시킬 수 있는가?
• RQ3 제안된 방법이 특정 형태에 대한 미세조정 없이도 실존적 및 환상적 디자인을 포함한 다양한 카테고리에서 고해상도 3D 형태를 생성할 수 있는가?
• RQ4 제안된 방법의 추론 속도는 Dream Fields와 같은 최적화 기반 기준선과 비교해 어떻게 되는가?
• RQ5 CLIP 일관성 손실이 입력 텍스트와 생성된 3D 형태 시각 간의 정렬을 얼마나 향상시키는가?

주요 결과

• 제안된 ISS 프레임워크는 인스턴스당 85초 이내에 3D 형태를 생성하며, 1개의 형태당 72분이 넘는 Dream Fields에 비해 훨씬 빠른 속도를 기록함.
• ShapeNet 및 CO3D 벤치마크에서 최신 기술 대비 뛰어난 FID 점수를 확보하여 더 높은 생성 정밀도를 입증함.
• 인간 평가 결과, CLIP-Forge 및 Dream Fields와 같은 기준선 대비 ISS가 생성한 형태가 텍스트 기술서와 더 잘 일치함을 확인함.
• 메서드는 실존적 및 환상적 스타일의 3D 형태를 일관된 구조와 질감으로 성공적으로 생성하여 다양한 카테고리에 걸쳐 광범위한 적용 가능성을 입증함.
• 제거 실험 결과, 두 단계 정렬 및 CLIP 일관성 손실이 의미적 격차를 줄이고 텍스트-형태 정렬을 향상시키는 데 핵심 요소임을 입증함.
• 프레임워크는 ShapeNet 카테고리 외에도 일반화 능력이 뛰어나 훈련 데이터에 존재하지 않는 드문 또는 새로운 물체 유형에 대해서도 타당한 형태를 생성함.