[논문 리뷰] IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts

Bohan Zeng, Shanglin Li외 10명|arXiv (Cornell University)|2023. 10. 09.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

IPDreamer는 이미지 프롬프트를 최적화 과정에 통합함으로써 외관 제어가 가능한 3D 객체 합성을 가능하게 하는 새로운 텍스트-3D 생성 프레임워크를 제안한다. Image Prompt Score Distillation (IPSD)를 통해 이미지 프롬프트 임베딩과 노말 매핑을 활용함으로써, 기존 SOTA 방법보다 외관 제어성과 현실성 면에서 뛰어난 고해상도, 스타일 전이가 가능한 3D 생성을 달성한다. 이는 텍스트 및 이미지 프롬프트 간의 모순이 있을 경우에도 성립한다.

ABSTRACT

Recent advances in 3D generation have been remarkable, with methods such as DreamFusion leveraging large-scale text-to-image diffusion-based models to guide 3D object generation. These methods enable the synthesis of detailed and photorealistic textured objects. However, the appearance of 3D objects produced by such text-to-3D models is often unpredictable, and it is hard for single-image-to-3D methods to deal with images lacking a clear subject, complicating the generation of appearance-controllable 3D objects from complex images. To address these challenges, we present IPDreamer, a novel method that captures intricate appearance features from complex $ extbf{I}$mage $ extbf{P}$rompts and aligns the synthesized 3D object with these extracted features, enabling high-fidelity, appearance-controllable 3D object generation. Our experiments demonstrate that IPDreamer consistently generates high-quality 3D objects that align with both the textual and complex image prompts, highlighting its promising capability in appearance-controlled, complex 3D object generation. Our code is available at https://github.com/zengbohan0217/IPDreamer.

연구 동기 및 목표

• 기존 텍스트-3D 생성 방법에서 스토케스틱 LoRA 파라미터 조정으로 인해 무작위적이고 제어되지 않는 질감을 갖는 문제를 해결하기 위해 외관 제어성을 향상시키는 것.
• 텍스트 기반 기술에만 의존하는 것이 아니라 이미지 프롬프트를 통해 더 풍부한 외관 가이던스를 제공함으로써, 기존의 SDS 및 VSD와 같은 점수 분산 방법을 개선하는 것.
• 기존 이미지의 구조가 목표 3D 기하학과 크게 다를 경우에도 참조 이미지에서의 스타일 전이를 가능하게 하는 것.
• 3D 메시 기하학과 질감을 동시에 최적화하기 위한 통합 프레임워크를 개발하여, 더 높은 시각적 정밀도를 확보하는 것.

제안 방법

• IPDreamer는 NeRF 기반 3D 표현에 강력한 3D 사전 지식을 제공하기 위해 다중시점 생성을 위해 Zero-1-to-3를 활용한다.
• 이 방법은 생성된 기준 이미지와 그에 대응하는 노말 매핑으로부터 이미지 프롬프트 임베딩을 추출하기 위해 IP-Adapter를 사용한다.
• 이미지 프롬프트 임베딩을 사용하여 질감 및 기하학 최적화를 이끄는 새로운 최적화 목표인 Image Prompt Score Distillation (IPSD)를 도입한다.
• 기하학적 인지 정규화 항 δ_geo와 이미지 프롬프트 특징 기반의 인지 손실을 포함하는 복합 손실을 최소화함으로써 3D 메시를 최적화한다.
• 텍스트 프롬프트를 랜덤 변수로 간주하는 파arametric score 모델을 사용하여 표준 SDS 대비 다양성을 향상시키고 과도한 매끄러움을 줄인다.
• 단일 이미지에서 3D 생성을 위해 IPDreamer는 IPSD를 Zero-123와 결합하여 정체성과 세부 정보를 유지하면서 스타일 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 텍스트 프롬프트만으로는 부족한 상황에서 이미지 프롬프트가 3D 객체 생성에서 더 효과적이고 제어 가능한 외관 가이던스를 제공할 수 있는가?
• RQ2 이미지 프롬프트 임베딩과 노말 매핑을 통합함으로써 생성된 3D 객체의 정밀도와 스타일 일치도는 어떻게 향상되는가?
• RQ3 이미지와 메시의 구조가 크게 다를 경우에도 IPDreamer는 다양한 참조 이미지에서 시각적 스타일을 3D 메시로 얼마나 잘 전이할 수 있는가?
• RQ4 제안된 IPSD 손실은 SDS 및 VSD와 같은 기존 점수 분산 방법보다 고품질, 다채널, 제어 가능한 3D 객체 생성에 더 뛰어나게 작용하는가?
• RQ5 IPDreamer는 단일 이미지에서 3D 생성 과정에서 정체성 유지와 스타일 전이 사이의 균형을 효과적으로 유지할 수 있는가?

주요 결과

• IPDreamer는 참조 이미지와 3D 메시의 구조적 레이아웃이 다를 경우에도 이미지 프롬프트에서 시각적 스타일을 성공적으로 3D 객체로 전이한다.
• 텍스트 프롬프트와 이미지 프롬프트 간의 모순이 발생할 경우(예: '철' vs. '가죽' 외관), 이미지 프롬프트가 최종 3D 출력에서 지배적이며, 강력한 외관 제어 능력을 입증한다.
• 절단 분석 결과, 기하학 최적화 손실 ℒ_IPSD-Geo는 이미지 프롬프트로부터 고주파 수준의 세부 정보를 효과적으로 포착함을 보여주며, 정교해진 노말 매핑을 통해 이를 입증한다.
• δ_geo의 도입은 질감 품질 향상과 정체성 유지에 기여하며, 이는 이 항목이 포함되지 않은 방법과의 시각적 비교에서 뚜렷한 우수성을 보여준다.
• IPDreamer는 DreamFusion, Magic3D, Fantasia3D, ProlificDreamer와 같은 SOTA 방법보다 정성적, 정량적 평가에서 모두 뛰어난 성능을 보이며, 특히 외관 제어성과 스타일 일치도에서 두각을 나타낸다.
• 이 프레임워크는 텍스트 및 이미지 프롬프트를 동시에 사용하는 경우와 단일 이미지에서 3D 생성을 위한 경우 모두 고해상도의 생성을 가능하게 하며, 기준 방법 대비 더 높은 세부 정보와 일관성을 확보한다.