[论文解读] DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views

Paul D. Yoo, Jiaxian Guo+2 more|arXiv (Cornell University)|Jun 6, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

DreamSparse 通过在冻结的 2D 扩散模型中注入 3D 几何先验和空间引导，利用噪声扰动增强身份保持能力，实现了从稀疏视图（2 个）中生成高质量、几何一致且身份一致的新视角图像，无需微调。在训练集和开放集设置下均优于基线方法。

ABSTRACT

Synthesizing novel view images from a few views is a challenging but practical problem. Existing methods often struggle with producing high-quality results or necessitate per-object optimization in such few-view settings due to the insufficient information provided. In this work, we explore leveraging the strong 2D priors in pre-trained diffusion models for synthesizing novel view images. 2D diffusion models, nevertheless, lack 3D awareness, leading to distorted image synthesis and compromising the identity. To address these problems, we propose DreamSparse, a framework that enables the frozen pre-trained diffusion model to generate geometry and identity-consistent novel view image. Specifically, DreamSparse incorporates a geometry module designed to capture 3D features from sparse views as a 3D prior. Subsequently, a spatial guidance model is introduced to convert these 3D feature maps into spatial information for the generative process. This information is then used to guide the pre-trained diffusion model, enabling it to generate geometrically consistent images without tuning it. Leveraging the strong image priors in the pre-trained diffusion models, DreamSparse is capable of synthesizing high-quality novel views for both object and scene-level images and generalising to open-set images. Experimental results demonstrate that our framework can effectively synthesize novel view images from sparse views and outperforms baselines in both trained and open-set category images. More results can be found on our project page: https://sites.google.com/view/dreamsparse-webpage.

研究动机与目标

• 解决仅从已知相机位姿的两个稀疏视图中合成高质量新视角图像的挑战。
• 克服预训练 2D 扩散模型缺乏 3D 意识的问题，避免产生几何失真和身份不一致。
• 通过利用强大的 2D 图像先验，实现在无需每对象微调的情况下泛化到开放集类别。
• 在不更新参数的情况下，将 3D 几何与空间信息注入冻结的扩散模型。
• 通过使用几何模块提供的颜色估计进行噪声扰动策略，提升合成视图中的身份一致性。

提出的方法

• 几何模块聚合多视角特征，推断新视角的 3D 特征，作为 3D 先验。
• 空间引导模型将 3D 特征图转换为空间控制信号，用于引导潜在空间中的扩散过程。
• 空间引导作为交叉注意力条件应用于冻结扩散模型的 UNet 解码器中，实现在不微调的情况下实现几何感知生成。
• 噪声扰动方法在几何模型生成的模糊颜色估计上添加噪声，而非随机噪声，以保留颜色与光照信息。
• 预训练的扩散模型以文到图生成设置使用，文本提示作为输入，全程保持权重冻结。
• 该框架通过冻结的扩散模型利用大规模文到图数据集中的强大图像先验，实现对未见类别的泛化能力。

Figure 2: The illustration of the method. The first stage involves utilizing a 3D geometry module to estimate 3D structure and aggregate features from context views.In the next stage, a pre-trained 2D diffusion model conditioned on the aggregate features is leveraged to learn a spatial guidance mode

实验结果

研究问题

• RQ1 冻结的 2D 扩散模型能否仅从两个稀疏视图生成几何一致的新视角图像？
• RQ2 如何在不微调的情况下有效将 3D 几何先验注入预训练的 2D 扩散模型？
• RQ3 基于 3D 特征生成的空间引导能否提升新视角合成中的几何一致性？
• RQ4 在使用 2D 扩散模型时，如何在合成视图中保持身份与纹理一致性？
• RQ5 使用几何模型的颜色估计进行噪声扰动，相比随机噪声是否能提升合成质量？

主要发现

• DreamSparse 在训练集和开放集的物体级新视角合成任务中均优于现有基线，展现出强大的泛化能力。
• 空间引导模型使冻结的扩散模型能够生成与真实情况几何对齐的图像，如空间特征的 PCA 可视化所示。
• 空间引导权重 λ=2 实现了几何一致性与图像清晰度的最佳平衡，而 λ=0 导致几何对齐完全失败。
• 使用几何模型颜色估计进行噪声扰动的结果显著优于随机噪声，有效减少了颜色与光照失真。
• 该方法可泛化至场景级新视角合成与文本控制风格迁移，表明其在物体中心任务之外也具有更广泛的应用潜力。
• 尽管在处理复杂或非标准几何结构方面存在局限，该框架在无需每对象优化的情况下实现了稀疏视图新视角合成的最先进性能。

Figure 3: Novel view synthesizing results on open-set category objects with the same context image inputs, where SF denotes SparseFusion [ 77 ] and GT denotes Ground-Truth image. More results are given at our project webpage and appendix.