[논문 리뷰] Sin3DM: Learning a Diffusion Model from a Single 3D Textured Shape

Rundi Wu, Ruoshi Liu외 2명|arXiv (Cornell University)|2023. 05. 24.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

Sin3DM는 단일 3D 텍스처링된 형상에 대해 훈련된 최초의 확산 모델을 소개하며, 기하학적 구조와 텍스처를 저차원 잠복 공간으로 압축하기 위해 트라이플레인 특징 맵을 활용한다. 작은 수신장(약 40%의 특징 맵 크기)을 가진 U-Net 노이즈 제거기 모델을 트라이플레인에 대해 훈련함으로써, 세밀한 디테일을 유지하면서도 고품질이고 다양한 3D 변형을 생성할 수 있으며, 재학습 없이도 아웃페inting 및 패치 복제와 같은 제어 가능한 편집 기능을 지원한다.

ABSTRACT

Synthesizing novel 3D models that resemble the input example has long been pursued by graphics artists and machine learning researchers. In this paper, we present Sin3DM, a diffusion model that learns the internal patch distribution from a single 3D textured shape and generates high-quality variations with fine geometry and texture details. Training a diffusion model directly in 3D would induce large memory and computational cost. Therefore, we first compress the input into a lower-dimensional latent space and then train a diffusion model on it. Specifically, we encode the input 3D textured shape into triplane feature maps that represent the signed distance and texture fields of the input. The denoising network of our diffusion model has a limited receptive field to avoid overfitting, and uses triplane-aware 2D convolution blocks to improve the result quality. Aside from randomly generating new samples, our model also facilitates applications such as retargeting, outpainting and local editing. Through extensive qualitative and quantitative evaluation, we show that our method outperforms prior methods in generation quality of 3D shapes.

연구 동기 및 목표

• 단일 예시만 제공된 상황에서 다양하고 고품질의 3D 텍스처링된 형상을 생성하는 과제를 해결한다.
• 3D 격자에 직접 확산 모델을 훈련할 경우 발생하는 높은 메모리 및 계산 비용을 완화한다.
• 재학습 없이도 아웃페인팅, 리타겟팅, 국소 편집과 같은 제어 가능한 생성 작업을 가능하게 한다.
• 단일 형상에서 국소 패치 수준의 특징을 학습하여 생성된 변형에서 구조적 및 텍스처적 정밀도를 유지한다.
• 현대 그래픽 파이프라인에서의 현실적인 렌더링을 지원하기 위해 PBR 재질을 지원하도록 프레임워크를 확장한다.

제안 방법

• 학습된 오토에코더를 사용하여 단일 3D 텍스처링된 형상을 서피스 거리 및 텍스처 필드를 나타내는 트라이플레인 특징 맵으로 압축한다.
• 제한된 수신장(~특징 맵 크기의 40%)을 가진 2D U-Net 기반의 확산 모델을 트라이플레인 잠복 공간에서 훈련하여 과적합을 방지한다.
• 세 개의 축에 수직인 특징 맵 간의 상호작용을 모델링하기 위해 트라이플레인 인식 2D 컨볼루션 블록을 통합한다.
• 고정된 청소화된 입력을 가진 단일 예제에서의 훈련 안정성을 확보하기 위해 확산 과정에서 노이즈 예측(ε-예측)을 사용한다.
• 추론 시 제어를 위해 공간 마스크를 활용: 노이즈 제거 과정 중 마스킹된 영역을 지정된 내용(예: 팯딩된 입력 또는 복사된 패치)으로 대체한다.
• 전용 MLP 헤드를 추가하여 디코더를 확장하여 PBR 재질(기본 색상, 금속성, 거칠기, 노멀)을 예측하도록 한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋 없이 단일 3D 텍스처링된 형상에서 효과적으로 확산 모델을 훈련시킬 수 있는가?
• RQ2 3D 확산 모델을 훈련할 경우 메모리 및 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 수신장 크기, 트라이플레인 인식 컨볼루션 등과 같은 아키텍처 선택이 한 예제에서의 생성 품질과 일반화 능력을 향상시키는가?
• RQ4 재학습 없이도 아웃페인팅 및 국소 편집과 같은 제어 가능한 생성 작업을 지원할 수 있는가?
• RQ5 모델이 PBR 재질로 일반화하여 현실적이고 렌더링 가능한 3D 자산을 생성하는 데 얼마나 잘 성능을 내는가?

주요 결과

• Sin3DM는 높은 기하학적 및 텍스처적 정밀도를 유지하면서도, 정성적 및 정량적 평가 모두에서 이전의 단일 형상 기반 방법보다 뛰어난 다양성의 3D 형상을 생성한다.
• 기본 모델 및 트라이플레인 인식 컨볼루션 없이 또는 다른 훈련 목표를 가진 변종과 비교해도 FID 및 LPIPS 점수에서 더 우수한 성능을 기록한다.
• 마스크를 통한 제어 가능한 생성은 아웃페인팅 및 패치 복제를 성공적으로 수행하며, 부드러운 전환과 일관된 구조 유지가 가능하다.
• 이 방법은 PBR 재질을 지원하여 Blender 및 Unreal Engine과 호환되는 물리 기반 렌더링 자산 생성이 가능하다.
• 절단 분석 결과, 트라이플레인 인식 컨볼루션과 ε-예측이 생성 품질 향상에 크게 기여하며, 인코더를 제거하거나 손실 함수를 변경할 경우 성능 저하가 발생한다.
• 성공에도 불구하고, 트라이플레인 표현 방식으로 인해 모델은 세 주요 축을 따라 변형을 생성하는 경향이 있어 향후 연구에서는 더 표현력 있는 3D 잠복 공간이 필요할 것으로 보인다.