[논문 리뷰] Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings

Kai Chen, Christopher Choy외 4명|arXiv (Cornell University)|2018. 03. 22.

3D Shape Modeling and Analysis참고 문헌 40인용 수 37

한 줄 요약

Text2Shape는 학습에 연관성과 거리 학습을 결합하여 자연어 기술서와 3D 형상을 연결하는 공동 임bedding 모델을 제안한다. 이는 엔드 투 엔드 텍스트-투-셰이프 검색 및 생성을 가능하게 하며, 기존의 기준 모델들보다 두 작업 모두에서 뛰어난 성능을 보인다. 특히, 색상 정확도가 높고 다양하며 현실적인 3D 형상을 자연어로부터 생성하는 새로운 조건부 워셔스타인 GAN을 사용하여, 카테고리 수준의 애너테이션 없이도 rich한 세부 정보와 색상이 포함된 3D 객체를 생성하는 데 있어 첫 번째 시스템으로서의 의의를 지닌다.

ABSTRACT

We present a method for generating colored 3D shapes from natural language. To this end, we first learn joint embeddings of freeform text descriptions and colored 3D shapes. Our model combines and extends learning by association and metric learning approaches to learn implicit cross-modal connections, and produces a joint representation that captures the many-to-many relations between language and physical properties of 3D shapes such as color and shape. To evaluate our approach, we collect a large dataset of natural language descriptions for physical 3D objects in the ShapeNet dataset. With this learned joint embedding we demonstrate text-to-shape retrieval that outperforms baseline approaches. Using our embeddings with a novel conditional Wasserstein GAN framework, we generate colored 3D shapes from text. Our method is the first to connect natural language text with realistic 3D objects exhibiting rich variations in color, texture, and shape detail. See video at https://youtu.be/zraPvRdl13Q

연구 동기 및 목표

• 비싼 카테고리 또는 속성 애너테이션에 의존하지 않고 자연어와 3D 형상 모odal 간의 다리를 놓는 것.
• 색상, 형태, 질감과 같은 3D 형상 속성과 자연어 기술서 간의 다대다 관계를 포괄하는 공동 임베딩 공간을 학습하는 것.
• 텍스트-투-셰이프 검색을 가능하게 하고, 동시에 현실적이고 색상이 정확한 3D 객체의 텍스트-투-셰이프 생성을 처음으로 가능하게 하는 것.
• 공동 임베딩이 벡터 산술을 통한 속성 조작과 조건부 생성을 지원할 수 있음을 보여주는 것.

제안 방법

• 엔드 투 엔드 학습을 통해 학습에 연관성과 거리 학습을 결합하여 인스턴스 수준의 텍스트-셰이프 쌍을 이용해 공동 임베딩 공간을 학습한다.
• 텍스트와 3D 형상을 동일한 공간에 임bedding하기 위해 시아미즈 네트워크 아키텍처를 사용하며, 의미적으로 유사한 쌍은 가까이 위치하도록 한다.
• 내모odal 유사성(텍스트-텍스트, 형상-형상)과 크로스모달 정렬(텍스트-형상)을 강제하기 위해 거리 학습을 적용한다.
• 공동 임베딩을 조건으로 사용하여 조건부 워셔스타인 GAN(CWGAN)을 훈련함으로써 표준 GAN보다 모드 다양성과 생성 품질을 향상시킨다.
• 학습된 임베딩 상에서의 벡터 산술을 활용해 속성(예: 색상, 형태)을 이동시키고 새로운 형상을 생성한다.
• ShapeNet에 있는 15,000개의 의자와 테이블에 대해 75,000개의 자연어 기술서를 포함한 대규모 데이터셋을 수집하였으며, 제어된 평가를 위한 프리미티브와 캡션을 포함한 합성 데이터셋도 구축하였다.

실험 결과

연구 질문

• RQ1 카테고리 수준의 애너테이션이 없이도 자연어 기술서와 3D 형상에서 직접 공동 임베딩 공간을 학습할 수 있는가?
• RQ2 이러한 공동 임베딩은 기존 기준 모델들에 비해 제로샷 텍스트-투-셰이프 검색에서 얼마나 잘 작동하는가?
• RQ3 학습된 임베딩은 색상이 정확하고 고품질의 다양한 3D 형상을 텍스트 기반으로 생성하는 데에 얼마나 효과적인가?
• RQ4 공동 임베딩 상의 벡터 산술을 통해 속성을 이동시키고 새로운 형상을 생성하는 데에 얼마나 효과적인가?
• RQ5 공동 임베딩을 조건으로 사용하는 조건부 워셔스타인 GAN은 표준 GAN에 비해 현실적이고 속성 정확도가 높은 3D 형상을 생성하는 데에 어떻게 더 나은가?

주요 결과

• 제안된 공동 임베딩 모델은 기존 기준 모델들보다 텍스트-투-셰이프 검색에서 뚜렷한 성능 향상을 보이며, 텍스트와 3D 형상 간의 강력한 의미적 정렬을 입증한다.
• 공동 임베딩을 조건으로 사용하는 조건부 워셔스타인 GAN(CWGAN)은 표준 GAN이나 CGAN 기준 모델보다 더 현실적이고 다양하며 색상 정확도가 높은 3D 형상을 생성한다.
• CWGAN 모델은 입력 텍스트에 정확히 조건을 걸어, 기술된 속성과 일치하는 형상을 생성한다. 예를 들어, 텍스트에 '화이트 테이블'이 입력되면 색상이 정확히 반영된 테이블을 생성하지만, 기준 모델들은 색상이나 카테고리에서 실패한다.
• 학습된 임베딩 상에서의 벡터 산술을 통해 색상이나 형태와 같은 속성을 이동시키고, 타당한 새로운 형상을 생성할 수 있다.
• 강력한 성능에도 불구하고, 모델은 세부 사항(예: 다리 수, 정확한 형태)에 대해서는 여전히 어려움을 겪고 있어, 정확한 기술적 속성을 포괄하는 데 향후 개선 여지가 있다.