[논문 리뷰] DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views

Paul D. Yoo, Jiaxian Guo외 2명|arXiv (Cornell University)|2023. 06. 06.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

DreamSparse는 고정된 2D 확산 모델을 사용하여, 기하학적 구조와 정체성 일致성을 유지하면서도 희소한 시야(2개)에서 고품질의 새로운 시점 합성 이미지를 생성할 수 있도록 한다. 이는 기하학 모듈과 공간 가이던스를 통해 3D 기하 구조 사전 지식을 주입하고, 노이즈 변형을 통해 정체성 유지 성능을 향상시킨다. 미세조정 없이도 훈련 세트 및 오픈 세트 설정 모두에서 기존의 베이스라인을 초월한다.

ABSTRACT

Synthesizing novel view images from a few views is a challenging but practical problem. Existing methods often struggle with producing high-quality results or necessitate per-object optimization in such few-view settings due to the insufficient information provided. In this work, we explore leveraging the strong 2D priors in pre-trained diffusion models for synthesizing novel view images. 2D diffusion models, nevertheless, lack 3D awareness, leading to distorted image synthesis and compromising the identity. To address these problems, we propose DreamSparse, a framework that enables the frozen pre-trained diffusion model to generate geometry and identity-consistent novel view image. Specifically, DreamSparse incorporates a geometry module designed to capture 3D features from sparse views as a 3D prior. Subsequently, a spatial guidance model is introduced to convert these 3D feature maps into spatial information for the generative process. This information is then used to guide the pre-trained diffusion model, enabling it to generate geometrically consistent images without tuning it. Leveraging the strong image priors in the pre-trained diffusion models, DreamSparse is capable of synthesizing high-quality novel views for both object and scene-level images and generalising to open-set images. Experimental results demonstrate that our framework can effectively synthesize novel view images from sparse views and outperforms baselines in both trained and open-set category images. More results can be found on our project page: https://sites.google.com/view/dreamsparse-webpage.

연구 동기 및 목표

• 알려진 카메라 포즈를 가진 두 개의 희소 시점에서 고품질의 새로운 시점 이미지를 합성하는 데 도전하는 것.
• 사전 학습된 2D 확산 모델이 3D 인지 능력을 갖추지 못해 기하 왜곡과 정체성 불일치 문제가 발생하는 문제를 해결하는 것.
• 개별 객체의 미세조정 없이도 일반화된 오픈 세트 카테고리에 대응하기 위해 강력한 2D 이미지 사전 지식을 활용하는 것.
• 파rameter 업데이트 없이도 고정된 확산 모델에 3D 기하 및 공간 정보를 주입하는 것.
• 기하학 모듈에서 유도한 색상 추정치를 활용한 노이즈 변형 전략을 통해 정체성 일관성을 향상시키는 것.

제안 방법

• 기하 모듈은 다중 시점 특징을 집계하여 새로운 시점에 대한 3D 특징를 추론하며, 이는 3D 사전 지식으로 기능한다.
• 공간 가이던스 모델은 3D 특징 맵을 공간 제어 신호로 변환하여 확산 과정을 잠재 공간에서 유도한다.
• 공간 가이던스는 고정된 확산 모델의 UNet 디코더에서 교차 어텐션 조건부로 적용되며, 튜닝 없이도 기하학적 인식이 가능한 생성을 가능하게 한다.
• 노이즈 변형 방법은 무작위 노이즈가 아닌 기하 모듈에서 유도한 흐릿한 색상 추정치에 노이즈를 추가하여 색상과 조명 정보를 유지한다.
• 사전 학습된 확산 모델은 텍스트 프ompt를 사용한 텍스트-이미지 생성 설정에서 사용되며, 전체 과정 동안 고정된 가중치를 유지한다.
• 프레임워크는 고정된 확산 모델을 통해 대규모 텍스트-이미지 데이터셋에서 유도된 강력한 이미지 사전 지식을 활용하여, 알려지지 않은 카테고리로의 일반화를 가능하게 한다.

Figure 2: The illustration of the method. The first stage involves utilizing a 3D geometry module to estimate 3D structure and aggregate features from context views.In the next stage, a pre-trained 2D diffusion model conditioned on the aggregate features is leveraged to learn a spatial guidance mode

실험 결과

연구 질문

• RQ1 고정된 2D 확산 모델이 오직 두 개의 희소 시점에서만 기하 일관성 있는 새로운 시점 이미지를 생성할 수 있는가?
• RQ2 미세조정 없이도 사전 학습된 2D 확산 모델에 효과적으로 3D 기하 사전 지식을 주입할 수 있는가?
• RQ3 3D 특징에서 유도된 공간 가이던스는 새로운 시점 합성에서 기하 일관성을 향상시킬 수 있는가?
• RQ4 2D 확산 모델을 사용할 때 정체성과 텍스처 일관성을 어떻게 유지할 수 있는가?
• RQ5 기하 모듈의 색상 추정치를 활용한 노이즈 변형은 무작위 노이즈보다 합성 품질을 향상시키는가?

주요 결과

• DreamSparse는 훈련 세트 및 오픈 세트 객체 수준의 새로운 시점 합성에서 기존의 베이스라인을 모두 능가하며, 강력한 일반화 성능을 보여준다.
• 공간 가이던스 모델은 고정된 확산 모델이 진짜 기하 구조와 일치하는 이미지를 생성하도록 가능하게 하며, 공간 특징의 PCA 시각화를 통해 이를 확인할 수 있다.
• 공간 가이던스 가중치 λ=2가 기하 일관성과 이미지 선명도 사이의 최적의 균형을 이룬다. λ=0일 경우 기하 일치가 완전히 실패한다.
• 기하 모듈의 색상 추정치를 활용한 노이즈 변형은 무작위 노이즈보다 유의미하게 더 좋은 결과를 낸다. 이는 색상과 조명 왜곡을 감소시킨다.
• 이 방법은 시나리오 수준의 새로운 시점 합성과 텍스트 제어 스타일 전이로까지 일반화 가능하며, 객체 중심 작업을 넘어서 광범위한 응용 가능성을 보여준다.
• 복잡하거나 비표준 기하 구조를 다루는 데에는 한계가 있지만, 개별 객체 최적화 없이도 희소 시점 새로운 시점 합성 분야에서 최고 성능을 달성한다.

Figure 3: Novel view synthesizing results on open-set category objects with the same context image inputs, where SF denotes SparseFusion [ 77 ] and GT denotes Ground-Truth image. More results are given at our project webpage and appendix.