[논문 리뷰] 3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models

Biao Zhang, Jiapeng Tang외 2명|arXiv (Cornell University)|2023. 01. 26.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

3DShape2VecSet는 3D 모양을 위한 학습 가능한 신경장 표현을 제안하며, 잠재 벡터 집합을 사용하여 원형 기저 함수와 주의 메커니즘을 조합함으로써 고품질의 3D 모양 생성 및 복원을 가능하게 합니다. 이는 텍스트, 이미지, 포인트 클라우드 조건부 생성을 포함한 다양한 생성 작업에서 최신 기술 수준의 성능을 달성하며, 부분적인 입력으로부터의 형태 복원 및 완성 작업에도 효과적입니다.

ABSTRACT

We introduce 3DShape2VecSet, a novel shape representation for neural fields designed for generative diffusion models. Our shape representation can encode 3D shapes given as surface models or point clouds, and represents them as neural fields. The concept of neural fields has previously been combined with a global latent vector, a regular grid of latent vectors, or an irregular grid of latent vectors. Our new representation encodes neural fields on top of a set of vectors. We draw from multiple concepts, such as the radial basis function representation and the cross attention and self-attention function, to design a learnable representation that is especially suitable for processing with transformers. Our results show improved performance in 3D shape encoding and 3D shape generative modeling tasks. We demonstrate a wide variety of generative applications: unconditioned generation, category-conditioned generation, text-conditioned generation, point-cloud completion, and image-conditioned generation.

연구 동기 및 목표

• 확산 모델을 사용한 고해상도 생성 모델링을 가능하게 하는 새로운 3D 모양 표현을 개발하는 것.
• 확산 기반 생성에 적합한 압축 가능하고 학습 가능한, 그리고 미분 가능한 잠재 공간에 3D 모양을 표현하는 데 도전하는 것.
• 텍스트, 이미지, 부분적인 포인트 클라우드를 포함한 다양한 조건 하에서 3D 모양 복원 및 생성을 향상시키는 것.
• 고해상도 복원과 다양한 다중 모odal 생성을 모두 지원하는 표현을 설계하는 것.

제안 방법

• 모델은 메쉬 또는 포인트 클라우드로 주어진 3D 모양을 학습 가능한 잠재 벡터 집합으로 표현된 신경장으로 인코딩합니다.
• 지속적이고 부드러운 3D 기하 구조 표현을 가능하게 하기 위해 원형 기저 함수(RBFs)를 사용하여 잠재 벡터 간의 보간을 수행합니다.
• 변환기 기반 디코더가 생성 과정 중 관련 잠재 벡터에 주의를 기울일 수 있도록 교차 주의 및 자기 주의 메커니즘을 사용합니다.
• 이중 단계 훈련 파이프라인을 사용합니다: 첫 번째 단계에서는 변분 오토에인드어(Variational Autoencoder, VAE)가 입력 모양을 잠재 집합으로 압축하고, 두 번째 단계에서는 학습된 잠재 공간에서 확산 모델을 훈련시킵니다.
• 정규 격자나 글로벌 벡터 대신 잠재 집합 표현을 사용함으로써 메모리 사용량을 줄이고 미세한 기하학적 세부 정보를 유지합니다.
• 교차 주의를 통해 텍스트, 이미지 또는 부분적인 포인트 클라우드를 조건으로 삼아 확산 모델을 조절함으로써 다중 조건 생성 작업을 지원합니다.

실험 결과

연구 질문

• RQ1 학습 가능한 집합 기반 잠재 표현이 확산 모델을 사용한 3D 모양 생성에서 글로벌 벡터나 정규 격자보다 우수한 성능을 보일 수 있는가?
• RQ2 집합 기반 신경장 표현은 포인트 클라우드나 단일 뷰 이미지와 같은 부분적 또는 불완전한 입력으로부터 3D 모양을 얼마나 잘 복원할 수 있는가?
• RQ3 주의 기반 설계는 텍스트, 이미지, 카테고리, 포인트 클라우드와 같은 다양한 조건 모odal 간에 얼마나 다양한 고해상도 생성을 가능하게 하는가?
• RQ4 제안된 표현은 다양한 3D 모양 카테고리에 일반화되며 훈련 분포에 과적합되지 않는가?

주요 결과

• 모델은 포인트 클라우드에서 3D 모양 복원에서 최신 기술 수준의 성능을 달성하며, 정량적 지표와 시각적 품질 모두에서 기존 방법을 능가합니다.
• 텍스트 조건부 생성에서는 '가장 높은 의자' 또는 '빨간 자동차'와 같은 의미적으로 일치하는 다양한 3D 모양을 성공적으로 생성하여 강력한 제로샷 일반화 능력을 보입니다.
• 이미지 조건부 생성에서는 OccNet과 IM-Net과 같은 결정론적 베이스라인에 비해 더 정확한 표면 세부 정보—예를 들어 얇은 막대나 작은 구멍—을 생성합니다.
• 모델은 다중 모달 생성을 지원하여 단일 이미지에서 다양한 복원을 가능하게 하며, 이는 가림을 다루는 데 매우 중요합니다.
• Chamfer 거리 검색을 통한 형태 신선도 분석 결과, 생성된 형태는 훈련 데이터의 단순 암기일 뿐 아니라 구조적으로 새로운 실재감 있는 형태임을 확인했습니다.
• 성능 향상에도 불구하고, 수동 설계된 특징(예: 웨이블릿)과 비교해 두 단계 훈련 과정이 필요하여 훈련 시간이 증가합니다.