[论文解读] SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

Yen-Chi Cheng, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Dec 8, 2022

Image Processing and 3D Reconstruction被引用 5

一句话总结

SDFusion 是一种基于扩散模型的 3D 生成模型，采用有符号距离函数（SDF）和学习到的潜在空间，实现高分辨率、多模态的 3D 形状生成。它支持从图像、文本、部分形状或其组合进行条件生成，可调节模态权重，并在形状补全、图像到 3D 重建以及文本到 3D 生成任务中达到最先进性能，同时通过 2D 扩散模型实现纹理生成。

ABSTRACT

In this work, we present a novel framework built to simplify 3D asset generation for amateur users. To enable interactive generation, our method supports a variety of input modalities that can be easily provided by a human, including images, text, partially observed shapes and combinations of these, further allowing to adjust the strength of each input. At the core of our approach is an encoder-decoder, compressing 3D shapes into a compact latent representation, upon which a diffusion model is learned. To enable a variety of multi-modal inputs, we employ task-specific encoders with dropout followed by a cross-attention mechanism. Due to its flexibility, our model naturally supports a variety of tasks, outperforming prior works on shape completion, image-based 3D reconstruction, and text-to-3D. Most interestingly, our model can combine all these tasks into one swiss-army-knife tool, enabling the user to perform shape generation using incomplete shapes, images, and textual descriptions at the same time, providing the relative weights for each input and facilitating interactivity. Despite our approach being shape-only, we further show an efficient method to texture the generated shape using large-scale text-to-image models.

研究动机与目标

• 通过使普通用户能够使用直观的多模态输入（如文本、图像和部分形状）生成复杂 3D 形状，实现 3D 资产创建的民主化。
• 通过将 3D 形状压缩到低维潜在空间以实现高效的扩散建模，缓解 3D 生成的计算负担。
• 通过允许用户调整多种条件模态的相对重要性，实现对生成过程的灵活、交互式控制。
• 通过利用预训练的 2D 文本到图像扩散模型，实现生成 3D 形状的高保真纹理化，弥合 2D 与 3D 生成建模之间的鸿沟。
• 展示一个统一框架，支持在单一、灵活的架构下完成形状补全、重建和生成任务。

提出的方法

• SDFusion 使用变分自编码器将 3D 形状压缩为 SDF 的紧凑潜在表示，实现在 128³ 分辨率下的高分辨率生成。
• 在潜在空间中训练扩散模型以建模 3D 形状的概率分布，从而实现高质量且多样化的生成。
• 特定任务的编码器处理每种模态（文本、图像、部分形状），随后通过交叉注意力机制同时将多种输入条件化到扩散过程中。
• 应用无分类器指导，通过在推理时调整各条件模态的相对权重，实现对每种模态影响的灵活、可学习的控制。
• 该模型采用一种交叉注意力机制，可关注模态特定的嵌入，使扩散过程能够关注每类输入的相关信息。
• 在纹理生成方面，SDFusion 利用一个预训练的 2D 文本到图像扩散模型，结合神经渲染和得分蒸馏采样，为生成的 3D 形状应用语义上合理、多样化且风格丰富的纹理。

Figure 2 : SDFusion Overview. (left) To enable high-resolution generation, we first encode 3D shapes into a latent space, where a diffusion model is trained. Furthermore, to enable flexible conditional generation, we adopt class-specific encoders along with classifier-free guidance to enable multi-m

实验结果

研究问题

• RQ1 一个单一的生成模型能否在统一框架下有效处理多种 3D 形状生成任务——包括补全、重建和文本到 3D 生成？
• RQ2 如何在 3D 生成模型中灵活组合多模态条件（文本、图像、部分形状），并支持可调节的模态权重？
• RQ3 基于 SDF 的潜在扩散模型能否在保持计算效率和高样本质量的前提下实现高分辨率 3D 生成？
• RQ4 预训练的 2D 文本到图像扩散模型在多大程度上可被有效适配以对 3D 扩散模型生成的 3D 形状进行纹理化？
• RQ5 在定量指标和定性多样性与保真度方面，该模型的性能与先前最先进方法相比如何？

主要发现

• 在 ShapeGlot 基准测试中，SDFusion 的混淆率比 AutoSDF 低 12.3%，表明其生成形状与文本描述之间具有更优的对齐效果。
• 定性结果显示，与先前工作相比，SDFusion 在生成如 'L 形桌子' 或 '带有两个表面的桌子' 等复杂描述时，能生成更多样化且更忠实的形状。
• 该模型能够成功地从部分输入和图像中完成 3D 形状，即使在视觉线索模糊的情况下，也能生成多样且合理的补全结果。
• 通过可调节权重的多模态联合条件控制，实现了精细的用户调控，如图 8 所示，增加图像或文本的权重可使输出更贴近相应输入。
• 通过整合 2D 文本到图像扩散模型，SDFusion 实现了语义合理、多样化且风格丰富的 3D 形状纹理化，包括抽象风格（如 '中式风格'）或材质（如 '姜糖'）。
• 在 ShapeNet、BuildingNet 和 Pix3D 数据集上，SDFusion 在形状补全、基于图像的 3D 重建以及文本到 3D 生成任务中，无论在定量指标还是定性多样性与保真度方面，均优于先前方法。

Figure 3 : 3D Shape Texturing . We demonstrate an application where models trained on 2D and 3D data are combined. The shapes generated by SDFusion are converted to a density tensor, then the color information is learned via neural rendering. The gradients are provided by an off-the-shelf 2D diffusi