[论文解读] GeoDream: Disentangling 2D and Geometric Priors for High-Fidelity and Consistent 3D Generation

Baorui Ma, Haoge Deng+4 more|arXiv (Cornell University)|Nov 29, 2023

Computer Graphics and Visualization Techniques被引用 6

一句话总结

GeoDream 提出了一种解耦框架，将显式的 3D 几何先验与预训练的 2D 扩散先验相结合，从文本提示生成高保真、3D 一致的带纹理网格。通过从多视角 2D 预测构建成本体积作为稳健的 3D 先验，并通过解耦优化迭代细化，GeoDream 显著减少了 Janus 问题和伪影，同时保持了 1024×1024 分辨率的高保真度和语义一致性。

ABSTRACT

Text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models has shown great promise but still suffers from inconsistent 3D geometric structures (Janus problems) and severe artifacts. The aforementioned problems mainly stem from 2D diffusion models lacking 3D awareness during the lifting. In this work, we present GeoDream, a novel method that incorporates explicit generalized 3D priors with 2D diffusion priors to enhance the capability of obtaining unambiguous 3D consistent geometric structures without sacrificing diversity or fidelity. Specifically, we first utilize a multi-view diffusion model to generate posed images and then construct cost volume from the predicted image, which serves as native 3D geometric priors, ensuring spatial consistency in 3D space. Subsequently, we further propose to harness 3D geometric priors to unlock the great potential of 3D awareness in 2D diffusion priors via a disentangled design. Notably, disentangling 2D and 3D priors allows us to refine 3D geometric priors further. We justify that the refined 3D geometric priors aid in the 3D-aware capability of 2D diffusion priors, which in turn provides superior guidance for the refinement of 3D geometric priors. Our numerical and visual comparisons demonstrate that GeoDream generates more 3D consistent textured meshes with high-resolution realistic renderings (i.e., 1024 $ imes$ 1024) and adheres more closely to semantic coherence.

研究动机与目标

• 解决使用 2D 扩散模型进行文本到 3D 生成时持续存在的不一致 3D 几何结构问题（Janus 问题）和严重伪影。
• 在不牺牲高保真度、多样性或真实感 3D 输出的前提下，提升 3D 一致性。
• 通过显式的 3D 先验使 2D 扩散模型具备 3D 意识能力，避免侵入性微调。
• 利用成本体积聚合技术，从不完美的多视角 2D 预测中构建稳健的 3D 先验。
• 建立 2D 和 3D 先验之间的双向优化循环，以提升几何和语义保真度。

提出的方法

• 通过方差和投影操作，将多视角 2D 图像特征聚合为成本体积，构建 3D 几何先验。
• 使用 3D 特征网络处理成本体积，生成与单个视角不一致无关的空间一致 3D 先验。
• 通过微调 LoRA 的 2D 扩散模型，实现 2D 和 3D 先验的解耦，使其在不微调基础模型的前提下利用 3D 先验。
• 通过反馈循环，利用 2D 扩散先验引导 3D 先验的迭代优化，以细化 3D 几何先验。
• 采用基于 DMTet 的网格提取流程，从优化后的 3D 表示中生成高分辨率带纹理网格。
• 使用加权去噪损失，使生成的 3D 输出在多个相机视角下与预训练的 2D 扩散模型对齐。

Figure 1 : GeoDream alleviates the Janus problems by incorporating explicit 3D priors with 2D diffusion priors. GeoDream generates consistent multi-view rendered images and rich details textured meshes. We remove rendering background to achieve a clearer visualization.

实验结果

研究问题

• RQ1 从多视角 2D 预测中提取的显式 3D 几何先验是否能提升文本到 3D 生成中的 3D 一致性？
• RQ2 解耦 2D 和 3D 先验是否能在不微调模型的情况下，使 2D 扩散模型表现出更好的 3D 意识行为？
• RQ3 成本体积聚合是否能有效过滤多视角 2D 预测中的不一致性，从而生成稳健的 3D 先验？
• RQ4 2D 和 3D 先验之间的双向优化如何提升 3D 生成中的几何和语义保真度？
• RQ5 GeoDream 在多种多视角扩散模型（如 Zero123 和 MVDream）上的泛化能力如何？

主要发现

• GeoDream 在生成 1024×1024 分辨率且具有高保真纹理的 3D 资产的同时，显著减少了 Janus 问题和伪影。
• 该方法在复杂且多样的提示（包括非对称和富有想象力的物体）下，实现了卓越的 3D 一致性和语义连贯性。
• 消融研究证实，GeoDream 在不同多视角扩散模型（如 Zero123 和 Zero123++）生成的源视角上均表现出良好的泛化能力。
• 2D 和 3D 先验之间的解耦优化循环相比端到端或联合优化基线方法，显著提升了几何结构和纹理细节。
• 基于成本体积的 3D 先验构建方法能有效缓解多视角预测中的不一致性，优于依赖直接多视角一致性的方法。
• 定量 3D 指标和定性对比表明，GeoDream 生成的网格比以往方法更具真实感和几何一致性。

Figure 2 : The overview of GeoDream. (a) 3D priors training. (b) Incorporating 3D priors with 2D diffusion priors.