[논문 리뷰] SALAD: Part-Level Latent Diffusion for 3D Shape Generation and Manipulation

Juil Koo, Seung-Woo Yoo외 2명|arXiv (Cornell University)|2023. 03. 21.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

SALAD는 부분 수준의 암묵적 표현을 사용하여 3D 모양 생성 및 조작을 위한 계단식 잠재 확산 모델을 제안하며, 미세조정 없이도 최신 기술 수준의 생성 품질과 제로샷 부분 수준 편집을 가능하게 한다. 외재적 및 내재적 부분 임베딩을 분리하고 이중 단계 계단식 확산을 적용하여, 모양 생성, 부분 혼합, 정밀 조정, 텍스트 유도 완성 등에서 뛰어난 성능을 달성한다.

ABSTRACT

We present a cascaded diffusion model based on a part-level implicit 3D representation. Our model achieves state-of-the-art generation quality and also enables part-level shape editing and manipulation without any additional training in conditional setup. Diffusion models have demonstrated impressive capabilities in data generation as well as zero-shot completion and editing via a guided reverse process. Recent research on 3D diffusion models has focused on improving their generation capabilities with various data representations, while the absence of structural information has limited their capability in completion and editing tasks. We thus propose our novel diffusion model using a part-level implicit representation. To effectively learn diffusion with high-dimensional embedding vectors of parts, we propose a cascaded framework, learning diffusion first on a low-dimensional subspace encoding extrinsic parameters of parts and then on the other high-dimensional subspace encoding intrinsic attributes. In the experiments, we demonstrate the outperformance of our method compared with the previous ones both in generation and part-level completion and manipulation tasks.

연구 동기 및 목표

• 최신 기술 수준의 생성 품질을 달성하면서도 제로샷 부분 수준 조작이 가능한 3D 확산 모델을 개발하는 것.
• 기존 3D 확산 모델이 잠재 코드 내에서 구조적 및 공간 정보가 부족하여 편집 및 완성 작업에 한계를 가진다는 문제를 해결하는 것.
• 외재적 및 내재적 구성 요소를 분리하여 고차원 부분 임베딩을 효과적으로 학습할 수 있도록 계단식 확산 프레임워크를 설계하는 것.
• 재학습 없이도 사용자 중심의 텍스트 조건 및 부분 선택을 통한 민첩한 모양 편집을 가능하게 하는 것.
• 모델의 유연성을 다양한 조작 작업(예: 부분 혼합, 정밀 조정, 텍스트 유도 완성 등)에 걸쳐 입증하는 것.

제안 방법

• 각 부분이 외재적(위치, 방향) 및 내재적(기하학적 세부 정보) 파rameter를 모두 캡처하는 분리된 임베딩 벡터로 표현되는 부분 수준의 암묵적 표현을 사용한다.
• 이중 단계 계단식 확산 파이프라인을 도입: 먼저 저차원 부분공간에서 외재적 파라미터를 생성하고, 그 다음에 외재적 요소에 조건화된 내재 잠재 코드를 생성한다.
• 셋 기반 표현에서 부분 간 순열 불변성과 전역 통신을 보장하기 위해 시간단계 조건화된 자기주의 어텐션을 사용하는 트랜스포머 기반 아키텍처를 사용한다.
• 잠재 공간에서 노이즈 스케줄링과 역방향 노이즈 제거를 적용하여 무작위 노이즈에서 완전한 3D 모양을 생성한다.
• AdaLN을 통해 텍스트 임베딩을 조건으로 적용하여 역방향 확산 과정을 텍스트 유도 생성 및 완성에 가능하게 한다.
• 텍스트 기반 의미적 부분 분할 모델(GAUSSGLOT)과 통합하여, 상호작용 가능하고 텍스트 기반의 개별 부분 선택 및 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 부분 수준 표현에서 훈련된 3D 확산 모델이 제로샷 부분 수준 편집을 가능하게 하면서 최신 기술 수준의 생성 품질을 달성할 수 있는가?
• RQ2 외재적 및 내재적 부분 임베딩을 분리함으로써 3D 모양 생성의 품질과 제어 가능성은 어떻게 향상되는가?
• RQ3 분리된 부분 표현을 가진 잠재 확산 모델이 부분 혼합, 정밀 조정, 텍스트 유도 완성과 같은 다양한 조작 작업을 얼마나 잘 지원할 수 있는가?
• RQ4 모델은 미세조정 없이도 텍스트 기반 3D 모양 합성과 같은 조건부 생성 작업에 일반화될 수 있는가?
• RQ5 계단식 확산 설계는 고차원 부분 임베딩 공간에서 훈련 안정성과 생성 품질을 어떻게 향상시키는가?

주요 결과

• SALAD는 모든 형태 유형에서 CD 및 EMD 지표에서 SPAGHETTI 및 기타 베이스라인을 능가하는 최신 기술 수준의 3D 모양 생성 성능을 달성한다.
• 부분 혼합 및 정밀 조정 작업에서 SALAD는 출력 품질을 향상시켰으며, SPAGHETTI 대비 평균 CD 3.21% 감소 및 EMD 1.83% 감소를 기록했다.
• 텍스트 유도 생성 작업에서 SALAD는 4.043 FPD 점수를 기록하여 AutoSDF의 31.53보다 뚜렷이 높아 더 높은 정밀도와 현실감을 보였다.
• 텍스트 유도 부분 완성 작업에서 SALAD는 질적 결과 및 신경 평가자 선호도(42.22 NEP 대비 AutoSDF의 38.98)를 통해 텍스트 기반 기술에 따라 선택된 부분을 성공적으로 완성했다.
• 편집 작업에서 모델은 뚜렷한 향상이 관찰되는 제로샷 능력을 보였으며, 모든 클래스에서 1-NNA 지표가 향상되어 더 나은 국소적 형태 일관성을 나타냈다.
• 계단식 확산 설계 덕분에 고차원 잠재 공간에서 효과적인 학습이 가능해졌으며, 계산 비용 증가 없이도 생성 품질 향상이 이루어졌다.