[논문 리뷰] HeadSculpt: Crafting 3D Head Avatars with Text
HeadSculpt는 텍스트 프롬프트에서 고해상도 3D 헤드 아바타를 생성하고 편집하기 위한 새로운 코arse-to-fine 파이프라인을 제안한다. 이는 랜드마크 기반 ControlNet과 학습된 백뷰 텍스트 임베딩을 통해 3D 인식 디퓨전 모델링을 활용하여 기하학적 일관성을 확보한다. 또한 새로운 아이덴티티 인식 스코어 디스틸레이션(IESD) 전략을 통해 아이덴티티 유지가 가능한 세밀한 편집을 가능하게 하여 다양한 스타일과 편집 작업에서 해상도, 편집 정확도, 학습 안정성 측면에서 기존 방법들을 능가한다.
Recently, text-guided 3D generative methods have made remarkable advancements in producing high-quality textures and geometry, capitalizing on the proliferation of large vision-language and image diffusion models. However, existing methods still struggle to create high-fidelity 3D head avatars in two aspects: (1) They rely mostly on a pre-trained text-to-image diffusion model whilst missing the necessary 3D awareness and head priors. This makes them prone to inconsistency and geometric distortions in the generated avatars. (2) They fall short in fine-grained editing. This is primarily due to the inherited limitations from the pre-trained 2D image diffusion models, which become more pronounced when it comes to 3D head avatars. In this work, we address these challenges by introducing a versatile coarse-to-fine pipeline dubbed HeadSculpt for crafting (i.e., generating and editing) 3D head avatars from textual prompts. Specifically, we first equip the diffusion model with 3D awareness by leveraging landmark-based control and a learned textual embedding representing the back view appearance of heads, enabling 3D-consistent head avatar generations. We further propose a novel identity-aware editing score distillation strategy to optimize a textured mesh with a high-resolution differentiable rendering technique. This enables identity preservation while following the editing instruction. We showcase HeadSculpt's superior fidelity and editing capabilities through comprehensive experiments and comparisons with existing methods.
연구 동기 및 목표
- 사전에 훈련된 2D 디퓨전 모델을 사용한 텍스트에서 3D 헤드 생성 시 3D 인식 부족과 기하학적 일관성 결여 문제를 해결하기 위해.
- 편집 기반 프롬프트에 의한 편향과 일관되지 않은 기울기 역전파로 인한 아이덴티티 손실 및 낮은 편집 제어 능력 문제를 극복하기 위해.
- 다양한 신원과 스타일에 일반화되는 안정적이고 고해상도의 3D 헤드 아바타 생성 및 편집 파이프라인을 개발하기 위해.
- 외관 변화에 대해 명시적인 제어를 가능하게 하면서도 아이덴티티를 유지하는 세밀한 편집을 가능하게 하기 위해.
제안 방법
- 사전에 훈련된 텍스트-이미지 디퓨전 모델에 랜드마크 기반 ControlNet을 통합하여 3D 인식을 주입하고, FLAME 매개변수 헤드 모델을 사용해 시야 일관성 있는 헤드 기하학을 강제한다.
- 텍스트 역전이를 활용해 백뷰 세부 정보에 중점을 둔 전용 <back-view> 토큰을 학습시켜, 디퓨전 사전에서의 전면 시야 편향을 완화한다.
- 코어-투-파인 생성 파이프라인을 적용: 우선 사전 기반 스코어 디스틸레이션을 통해 NeRF 기반 3D 헤드를 생성한 후, 텍스처가 입혀진 메시로 정밀하게 보완한다.
- 아이덴티티 인식 스코어 디스틸레이션(IESD)을 제안하며, 원본 이미지에서 유도된 아이덴티티 유지 기울기와 프롬프트 기반 편집 전용 기울기를 결합하여 메시 최적화를 이끈다.
- 고해상도의 미분 가능 렌더링을 사용해 텍스처가 입혀진 메시를 최적화하여 세밀한 디테일과 현실적인 텍스처를 가능하게 한다.
- 이중 단계 최적화를 적용: 먼저 NeRF 기반 코어 생성을 수행한 후, IESD를 통한 고해상도 메시 정밀화를 통해 정밀한 편집 제어를 확보한다.
실험 결과
연구 질문
- RQ1랜드마크 기반 조건부 설정과 시야별 텍스트 임베딩을 통한 3D 인식 조건부 설정이 텍스트에서 3D 헤드 생성 시 기하학적 일관성을 향상시키고 일반적으로 발생하는 '제누스 문제'를 줄일 수 있는가?
- RQ2아이덴티티 유지가 가능한 편집을 스코어 디스틸레이션 전략을 통해 명시적으로 아이덴티티와 편집 목표를 균형 잡는 방식으로 달성할 수 있는가?
- RQ3다양한 랜덤 시드와 다양한 프롬프트에서 기존의 SDS 기반 텍스트에서 3D로의 변환 방법과 비교해 안정성과 해상도 측면에서 본 방법의 성능은 어떠한가?
- RQ4본 방법은 아이덴티티 손실 없이 다양한 스타일(예: 피크닉, 클레이메이션, 조각)과 복잡한 편집(예: 노화, 얼굴 변형)에 얼마나 잘 일반화되는가?
주요 결과
- HeadSculpt는 모든 360° 시야에서 뛰어난 기하학적 일관성과 시각적 해상도를 확보하여 기존 기준 방법에서 흔히 발생하는 다중 얼굴 ‘제누스 문제’를 완전히 제거한다.
- 메서드는 안정적인 학습 성능을 보이며, 하이퍼파rameter 조정이나 모델 선별 없이도 다양한 랜덤 시드에서 고품질 결과를 생성한다.
- 아이덴티티 인식 스코어 디스틸레이션(IESD)은 연령 변화, 얼굴 변형, 스타일 전이 등 정확하고 아이덴티티 유지가 가능한 편집을 가능하게 하여 프롬프트 기반 편집 기준보다 뛰어난 성능을 보인다.
- 정성적 비교 결과, DreamFusion*, Latent-NeRF, 3DFuse, Fantasia3D*와 같은 기존 방법들과 비교해 HeadSculpt는 특히 복잡한 편집 상황에서 더 현실적인 텍스처와 더 세밀한 기하학적 디테일을 생성한다.
- 간단한 텍스트 프롬프트로도 스컬, 클레이메이션, 나무 조각 등 스타일리시한 아바타를 고해상도로 생성할 수 있으며, 다양한 신원과 스타일에서 일관된 결과를 제공한다.
- 제거 분석 결과, 랜드마크 기반 제어와 <back-view> 토큰이 기하학적 왜곡을 줄이고 시야 일관성을 향상시키는 데 핵심적인 역할을 한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.