[논문 리뷰] ZeroAvatar: Zero-shot 3D Avatar Generation from a Single Image

Zhenzhen Weng, Zeyu Wang외 1명|arXiv (Cornell University)|2023. 05. 25.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

ZeroAvatar는 매개변수적 SMPL 신체 모델을 기하학적 사전 지식으로 통합하고, 깊이 조건부 점수 증류 및 UV 유도 텍스처 정규화를 통해 단일 이미지에서 고해상도, 제로샷 3D 아바타를 생성한다. 이는 기존 방법에 비해 특히 복잡한 인간 자세에서 3D 일致성과 기하학적 정확도를 크게 향상시키며, 텍스트 및 자세 제어가 가능한 3D 아바타 생성을 지원한다.

ABSTRACT

Recent advancements in text-to-image generation have enabled significant progress in zero-shot 3D shape generation. This is achieved by score distillation, a methodology that uses pre-trained text-to-image diffusion models to optimize the parameters of a 3D neural presentation, e.g. Neural Radiance Field (NeRF). While showing promising results, existing methods are often not able to preserve the geometry of complex shapes, such as human bodies. To address this challenge, we present ZeroAvatar, a method that introduces the explicit 3D human body prior to the optimization process. Specifically, we first estimate and refine the parameters of a parametric human body from a single image. Then during optimization, we use the posed parametric body as additional geometry constraint to regularize the diffusion model as well as the underlying density field. Lastly, we propose a UV-guided texture regularization term to further guide the completion of texture on invisible body parts. We show that ZeroAvatar significantly enhances the robustness and 3D consistency of optimization-based image-to-3D avatar generation, outperforming existing zero-shot image-to-3D methods.

연구 동기 및 목표

• 복잡한 인간 신체를 재구성할 때 기존 제로샷 3D 생성 방법에서 나타나는 낮은 3D 일치성과 기하학적 보존 문제를 해결한다.
• 명시적인 인간 신체 구조 인식이 부족한 확산 기반 최적화의 한계를 극복한다.
• 명시적인 3D 인간 신체 사전 지식과 텍스처 정규화를 통해 보이지 않는 신체 부위의 재구성 정확도를 향상시킨다.
• 事前 학습된 텍스트-이미지 확산 모델을 사전 지식으로 사용하여 제로샷 텍스트 및 자세 제어가 가능한 3D 아바타 생성을 가능하게 한다.
• SMPL 기반의 굵은 기하학적 형상과 깊이 감시 신호를 사용하여 NeRF 초기화를 통해 최적화의 안정성과 수렴 속도를 향상시킨다.

제안 방법

• 단일 이미지에서 매개변수적 SMPL 신체 모델을 추정하고 개선하여 인간 신체 형상과 자세의 3D 사전 지식을 확보한다.
• 점수 증류 중 텍스트-이미지 확산 모델(예: Stable Diffusion)에 대해 자세가 조절된 SMPL 모델의 깊이 맵을 추가 조건 신호로 사용한다.
• NeRF의 밀도 필드를 SMPL 기반의 굵은 기하학적 형상으로 초기화하여 최적화의 안정성과 수렴 속도를 향상시킨다.
• NeRF 최적화 중 가림되거나 보이지 않는 신체 부위의 외관 보완을 유도하기 위해 UV 유도 텍스처 정규화 항을 도입한다.
• SMPL 사전 지식의 기하학적 제약 조건 하에서 참조 이미지와 일치하는 NeRF 뷰를 확보하기 위해 깊이 조건부 잠재 확산을 사용한 점수 증류 손실을 적용한다.
• 최적화된 NeRF를 사용하여 텍스트 또는 자세 편집을 통해 후속 작업을 지원하는 3D 아바타로 활용한다.

실험 결과

연구 질문

• RQ1 명시적인 3D 인간 신체 사전 지식이 단일 이미지에서의 제로샷 3D 아바타 생성의 3D 일치성과 기하학적 정확도를 향상시키는가?
• RQ2 매개변수적 신체 모델에서 유도된 깊이 감시가 확산 기반 NeRF 최적화의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 UV 유도 텍스처 정규화가 단일 이미지 3D 재구성에서 보이지 않는 신체 부위의 외관 일치도에 얼마나 기여하는가?
• RQ4 제안된 방법이 기하학적 및 외관 정확도를 유지하면서 제로샷 텍스트 또는 자세 제어가 가능한 3D 아바타 생성을 가능하게 하는가?
• RQ5 기본선 제로샷 방법에 비해 복잡한 비표준 자세에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• ZeroAvatar는 복잡한 자세에서 맥락 손실(3.3)과 CLIP 이미지 유사도(87.0)에서 최신 기술 수준을 달성하여 Make-it-3D 및 Stable-DreamFusion와 같은 기본선을 능가한다.
• 모든 자세 복잡도 수준(간단, 중간, 어려움)에서 일致적인 향상을 보이며, 어려운 자세에서 3.0의 맥락 손실을 기록하여 다음으로 우수한 방법보다 우수하다.
• ZeroAvatar는 기본선보다 훨씬 더 신속하게 수렴한다—에포크 5에서 이미 일관된 3D 형상을 확보한 반면, Make-it-3D는 최소 10 에포크가 필요하다.
• ZeroAvatar의 최적화는 더 안정적이며, Make-it-3D와 같은 기본선 방법에서 흔히 발생하는 발산 문제를 피한다. 이는 종종 타당한 기하학적 형상을 회복하지 못하는 경우가 있다.
• 심지어 SMPL이 신체 비율을 완전히 표현하지 못하는 실패 케이스에서도 ZeroAvatar는 기본선보다 더 일관된 신규 뷰 렌더링을 생성한다.
• LPIPS 점수는 일부 기본선(예: 어려운 자세에서 0.38)보다 略로 높지만, 이는 ZeroAvatar의 외관 품질 실패 때문이 아니라 기본선이 참조 뷰에 과적합되어 기하학적 왜곡을 일으키기 때문이다.