[논문 리뷰] Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Text2Tex는 깊이 인식 확산 모델로 텍스처를 점진적으로 인페인팅하여 3D 메시의 텍스처를 생성하고, 뷰 간 일관성을 보장하기 위해 동적 생성 마스크와 자동 뷰포인트 선택으로 안내합니다.
We present Text2Tex, a novel method for generating high-quality textures for 3D meshes from the given text prompts. Our method incorporates inpainting into a pre-trained depth-aware image diffusion model to progressively synthesize high resolution partial textures from multiple viewpoints. To avoid accumulating inconsistent and stretched artifacts across views, we dynamically segment the rendered view into a generation mask, which represents the generation status of each visible texel. This partitioned view representation guides the depth-aware inpainting model to generate and update partial textures for the corresponding regions. Furthermore, we propose an automatic view sequence generation scheme to determine the next best view for updating the partial texture. Extensive experiments demonstrate that our method significantly outperforms the existing text-driven approaches and GAN-based methods.
연구 동기 및 목표
- 자동으로 텍스트 안내 하에 3D 메시에 고품질 텍스처를 생성하는 것을 동기화하여 수작업 텍스처 디자인 노력을 줄인다.
- 다중 시점을 점진적으로 텍스처링하는 generate-then-refine 파이프라인을 개발하여 교차 시점 일관성을 보장한다.
- 생성/업데이트/저장/무시 영역으로 동적으로 뷰를 분할하여 확산 인페인팅을 안내하고 시점 유발 아티팩트를 해결한다.
- 텍스처 정제를 위한 다음 최적 뷰를 자동으로 결정하는 자동 뷰포인트 선택 전략을 도입한다.
- 객체 벡터의 최첨단 텍스트 기반 및 GAN 기반 기준선 대비 텍스처의 현저한 현실감과 일관성을 입증한다.]
- method":["렌더링된 각 뷰의 텍스처를 인페인팅하기 위해 사전 학습된 깊이 조건부 확산 모델을 사용한다.","확산 강도와 영역별 인페인팅을 안내하기 위해 New/Update/Keep/Ignore 영역을 구분하는 생성 마스크를 도입한다.","2D로 생성된 뷰를 UV 매핑 및 깊이-이미지 조건화로 텍스처 공간에 역투영한다.","곡면에서 늘어짐 왜곡을 완화하기 위해 표면 법선을 기반으로 동적 뷰 분할 전략을 사용한다.","텍스처 정제를 위한 이후 뷰를 선택하는 자동 뷰포인트 시퀀스를 제안하여 업데이트 영역의 면적을 최대화한다.","Objaverse와 ShapeNet 자동차 데이터셋에서 FID, KID 및 사용자 연구를 사용하여 Text2Tex를 최첨단 텍스트 기반 방법 및 카테고리 특화 GAN과 비교 평가한다."],
- research_questions":[
- Can depth-aware diffusion-based inpainting produce high-fidelity textures faithful to text prompts on 3D meshes?
- Does a dynamic generation/update/keep/ignore view partition improve texture consistency across views?
- Can an automatic viewpoint selection strategy effectively refine textures and reduce seams without manual viewpoint design?
- How does Text2Tex compare to existing text-driven and GAN-based texture synthesis methods in objective metrics and user preference?
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.