[논문 리뷰] HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation

Xin Huang, Ruizhi Shao외 5명|arXiv (Cornell University)|2023. 10. 02.

Human Motion and Animation인용 수 5

한 줄 요약

HumanNorm는 2D 텍스트-이미지 확산 모델의 품질을 향상시켜 고해상도 3D 인간 생성을 위한 새로운 정규 확산 모델을 제안한다. 기하 구조를 위한 정규 적응형 확산 모델과 질감을 위한 정규 정렬 확산 모델을 훈련시켜 기하 정확도와 자연스러운 외관을 갖춘 세밀하고 현실적인 3D 인간을 생성하며, 기하 및 질감 품질 측면에서 기존 방법을 능가한다.

ABSTRACT

Recent text-to-3D methods employing diffusion models have made significant advancements in 3D human generation. However, these approaches face challenges due to the limitations of text-to-image diffusion models, which lack an understanding of 3D structures. Consequently, these methods struggle to achieve high-quality human generation, resulting in smooth geometry and cartoon-like appearances. In this paper, we propose HumanNorm, a novel approach for high-quality and realistic 3D human generation. The main idea is to enhance the model's 2D perception of 3D geometry by learning a normal-adapted diffusion model and a normal-aligned diffusion model. The normal-adapted diffusion model can generate high-fidelity normal maps corresponding to user prompts with view-dependent and body-aware text. The normal-aligned diffusion model learns to generate color images aligned with the normal maps, thereby transforming physical geometry details into realistic appearance. Leveraging the proposed normal diffusion model, we devise a progressive geometry generation strategy and a multi-step Score Distillation Sampling (SDS) loss to enhance the performance of 3D human generation. Comprehensive experiments substantiate HumanNorm's ability to generate 3D humans with intricate geometry and realistic appearances. HumanNorm outperforms existing text-to-3D methods in both geometry and texture quality. The project page of HumanNorm is https://humannorm.github.io/.

연구 동기 및 목표

• 텍스트-이미지 확산 모델에 의존하는 기존 텍스트-3D 방법의 한계를 해결하기 위해, 3D 구조 인식 능력이 부족하고 부드럽고 만화 스타일의 3D 인간을 생성하는 문제를 해결한다.
• 정규 맵을 생성 파ip라인에 기하 사전 지식을 통합하여 장면의 반전 얼굴(예: Janus 아티팩트), 과도하게 포화된 질감, 주름이나 털과 같은 가짜 3D 세부 정보 등의 문제를 해결한다.
• 시야 의존적이고 신체 인지 텍스트를 사용해 다중 시점 정규 맵으로 훈련된 정규 적응형 확산 모델을 도입하여 2D 확산 모델이 3D 기하 구조를 더 잘 이해하도록 한다.
• 정규 맵과 표면 법선을 기반으로 한 질감 생성을 정렬함으로써 기하 구조와의 불일치를 줄이고 과도한 포화를 방지하기 위해 정규 정렬 확산 모델을 활용해 질감의 현실성을 향상시킨다.
• 진행적 기하 구조 생성 전략과 다단계 스코어 증류 샘플링(SDS) 손실을 개발하여 훈련 안정성과 출력 품질을 향상시킨다.

제안 방법

• 다중 시점 정규 맵과 시야 의존적, 신체 인지 텍스트를 포함한 프롬프트를 사용해 정규 적응형 확산 모델을 훈련시켜 고해상도 기하 구조 인식 정규 맵을 생성한다.
• 정규 맵을 보완하기 위해 깊이 정보를 제공하는 깊이 적응형 확산 모델을 도입하여 정규 맵이 모호한 영역(예: 귀)에서의 아티팩트를 감소시킨다.
• 기하 구조 생성 과정에서 정규 맵과 깊이 맵의 SDS 손실을 모두 활용하여 정확한 기하 세부 정보를 확보한다.
• 진행적 기하 구조 생성 전략을 구현하여 3D 메쉬를 점진적으로 정밀하게 다듬어 노이즈를 줄이고 안정성을 향상시킨다.
• 예측된 정규 맵을 조건부 입력으로 사용해 기하 굴곡과 조명에 맞는 색상 이미지를 생성하는 정규 정렬 확산 모델을 훈련시킨다.
• 질감 생성 과정에서 다단계 SDS 손실을 적용하여 다중 확산 단계를 거쳐 이미지를 복구함으로써 과도한 포화를 완화하고 현실감을 향상시킨다.

실험 결과

연구 질문

• RQ1 정규 적응형 확산 모델은 텍스트-3D 생성에서 2D 확산 모델의 3D 기하 구조 인식 능력을 향상시키는가?
• RQ2 정규 맵과 깊이 맵의 통합은 반전 얼굴 아티팩트나 매끄러운 표면 등의 기하 아티팩트를 줄이는 데 얼마나 효과적인가?
• RQ3 기하 세부 정보와 질감을 정렬함으로써 정규 정렬 확산 모델은 질감의 현실감을 크게 향상시키는가?
• RQ4 다단계 SDS 손실은 단일 단계 SDS보다 과도한 포화를 줄이고 질감의 자연스러움을 향상시키는 데 뛰어난가?
• RQ5 진행적 기하 구조 생성 전략은 3D 인간 생성의 안정성과 품질을 얼마나 향상시키는가?

주요 결과

• HumanNorm는 반전 얼굴 아티팩트를 제거하고 얼굴 및 의복의 세밀한 기하 구조를 생성함으로써 기하 품질이 크게 향상된 3D 인간을 생성한다.
• 정규 적응형 확산 모델은 시야 의존적이고 신체 인지 텍스트를 기반으로 고해상도 정규 맵을 성공적으로 생성하여 정확한 3D 기하 구조 재구성에 기여한다.
• 깊이 적응형 확산 모델은 다각도 분석에서 깊이 SDS 손실이 기하 품질을 향상시켜 기하적으로 모호한 영역(예: 귀)에서의 아티팩트를 감소시킴을 입증한다.
• 정규 정렬 확산 모델은 기하 굴곡에 맞춰 정렬된 더 선명하고 현실적인 질감을 생성하여 표준 텍스트-이미지 확산 모델보다 외관의 정밀도에서 뛰어난 성능을 보인다.
• 다단계 SDS 손실은 과도한 포화를 효과적으로 줄여 단일 단계 SDS 대비 더 자연스러운 색상과 조명을 가진 질감을 생성한다.
• HumanNorm는 더 높은 CLIP 점수와 사용자 평가 결과를 기록하여 텍스트 프롬프트와의 일치도가 뛰어나고 생성된 3D 인간의 현실감이 높다는 점을 입증한다.