[논문 리뷰] Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion

Tengfei Wang, Bo Zhang외 9명|arXiv (Cornell University)|2022. 12. 12.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

Rodin은 3D 인식 컨volution, 잠재 조건 조건화, 계층적 합성 기법을 통해 이미지 또는 텍스트 프롬프트에서 세밀하고 편집 가능한 3D 디지털 아바타를 생성하는 확산 기반 생성 모델을 소개한다. 이는 3D 인식 2D 확산을 사용하여 효율적인 3D 인식 확산을 위해 삼면체 특징을 2D 평면으로 펼치는 방식이다. FID 점수는 분석에서 최저 26.1을 기록한다.

ABSTRACT

This paper presents a 3D generative model that uses diffusion models to automatically generate 3D digital avatars represented as neural radiance fields. A significant challenge in generating such avatars is that the memory and processing costs in 3D are prohibitive for producing the rich details required for high-quality avatars. To tackle this problem we propose the roll-out diffusion network (Rodin), which represents a neural radiance field as multiple 2D feature maps and rolls out these maps into a single 2D feature plane within which we perform 3D-aware diffusion. The Rodin model brings the much-needed computational efficiency while preserving the integrity of diffusion in 3D by using 3D-aware convolution that attends to projected features in the 2D feature plane according to their original relationship in 3D. We also use latent conditioning to orchestrate the feature generation for global coherence, leading to high-fidelity avatars and enabling their semantic editing based on text prompts. Finally, we use hierarchical synthesis to further enhance details. The 3D avatars generated by our model compare favorably with those produced by existing generative techniques. We can generate highly detailed avatars with realistic hairstyles and facial hair like beards. We also demonstrate 3D avatar generation from image or text as well as text-guided editability.

연구 동기 및 목표

• 확산 모델을 사용해 세밀한 3D 아바타를 생성할 때 발생하는 높은 계산 및 메모리 비용을 해결하기 위해.
• 단일 이미지 또는 텍스트 프롬프트에서 효율적이고 고해상도의 3D 아바타 생성을 가능하게 하기 위해.
• 전역 일관성을 유지하면서 텍스트 유도적 조작을 통해 아바타의 의미적 편집을 지원하기 위해.
• 2D 확산이 3D 구조적 특징 맵을 처리하는 데 한계가 있음을 극복하기 위해 3D 인식 컨볼루션을 도입하기 위해.
• 과도한 메모리 사용을 피하면서도 확장 가능하고 계층적인 합성을 통해 3D 생성의 메모리 효율성을 높이기 위해.

제안 방법

• 3D 신경 반사율 필드를 세 개의 수직 2D 특징 평면(삼면체)로 표현하고, 이를 2D 확산을 위해 단일 2D 특징 평면으로 펼친다.
• 3D 공간적 관계를 기반으로 세 평면 간의 대응 특징에 주목하는 3D 인식 컨볼루션을 도입하여 평면 간 특징 동기화를 가능하게 한다.
• CLIP 이미지 인코더를 사용해 의미적 잠재 벡터를 생성하고, 이로 인해 확산 과정 중 전역 일관성이 유지되도록 한다.
• 계층적 합성 파이프라인을 활용: 먼저 64×64 해상도의 저해상도 삼면체를 생성한 후, 확산 기반 업샘플러를 통해 256×256 해상도로 개선한다.
• 업샘플링 학습 중에 패치 기반 이미지 수준 손실을 적용하여 시각적 품질을 향상시키고, 감독 기반의 스케일별 특화 학습을 가능하게 한다.
• 고정된 CLIP 텍스트 인코더를 활용해 텍스트 프롬프트를 이미지 잠재 공간과 정렬하고, 임베딩 조작을 통해 텍스트 유도적 아바타 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 삼면체 특징 펼침을 통해 3D 구조적 관계를 유지하면서 2D 특징 펼침을 활용한 2D 확산 모델이 고해상도 3D 아바타 생성에 효과적으로 기여할 수 있는가?
• RQ2 3D 인식 컨볼루션은 삼면체 표현 간의 특징 합성을 어떻게 향상시키며, 동시에 계산 효율성은 유지하는가?
• RQ3 잠재 조건 조건화가 3D 아바타 생성에서 전역 일관성과 편집 가능성에 얼마나 기여하는가?
• RQ4 계층적 확산 합성을 통해 과도한 메모리 비용 없이 고해상도 결과를 달성할 수 있는가?
• RQ5 CLIP 임bedded 잠재 공간을 활용한 텍스트 유도적 편집은 생성된 3D 아바타의 의미적 조작에 얼마나 효과적인가?

주요 결과

• Rodin 모델은 삼면체 펼침, 잠재 조건 조건화, 3D 인식 컨볼루션을 적용했을 때 분석에서 FID 점수 26.1을 기록하며, 기준 설정 구성보다 뚜렷하게 뛰어난 성능을 보였다.
• 확산 업샘플러는 품질 향상에 크게 기여했으며, 패치 기반 이미지 수준 손실과 조건 조건화 증강을 적용했을 때 FID 점수가 38.6에서 26.1로 감소했다.
• 모델은 단일 포트레이트 이미지에서조차도 현실적인 털, 수염, 콧수염, 측면 수염을 포함한 매우 세밀한 아바타를 성공적으로 생성했다.
• 텍스트 유도적 편집은 헤어 컬러 변경, 안경 추가, 표정 변경 등의 분리된 의미적 수정을 가능하게 했으며, 이는 프롬프트 엔지니어링에 기반한다.
• 계층적 합성 파이프라인은 전체 이미지 렌더링 없이도 고해상도 생성을 가능하게 하여 메모리 오버헤드를 줄였고, 스케일별 감독 학습을 지원한다.
• 모델은 강력한 일반화 능력을 보였으며, 훈련 데이터에 없던 다양한 고유한 아바타를 생성했고, 새로운 헤어 스타일과 의류 조합도 포함했다.