[论文解读] ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation

Zhengzhe Liu, Peng Dai+3 more|arXiv (Cornell University)|Sep 9, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出 ISS，一种新颖的文本引导 3D 形状生成框架，通过 2D 图像作为桥梁，在无需成对文本-形状数据集的情况下弥合文本与 3D 形状之间的语义鸿沟。通过利用 CLIP 的联合文本-图像嵌入以及预训练的单视角重建模型，ISS 执行两阶段特征空间对齐，可在 85 秒内生成高保真度、一致的 3D 形状，其在保真度、一致性和风格化能力方面优于先前方法。

ABSTRACT

Text-guided 3D shape generation remains challenging due to the absence of large paired text-shape data, the substantial semantic gap between these two modalities, and the structural complexity of 3D shapes. This paper presents a new framework called Image as Stepping Stone (ISS) for the task by introducing 2D image as a stepping stone to connect the two modalities and to eliminate the need for paired text-shape data. Our key contribution is a two-stage feature-space-alignment approach that maps CLIP features to shapes by harnessing a pre-trained single-view reconstruction (SVR) model with multi-view supervisions: first map the CLIP image feature to the detail-rich shape space in the SVR model, then map the CLIP text feature to the shape space and optimize the mapping by encouraging CLIP consistency between the input text and the rendered images. Further, we formulate a text-guided shape stylization module to dress up the output shapes with novel textures. Beyond existing works on 3D shape generation from text, our new approach is general for creating shapes in a broad range of categories, without requiring paired text-shape data. Experimental results manifest that our approach outperforms the state-of-the-arts and our baselines in terms of fidelity and consistency with text. Further, our approach can stylize the generated shapes with both realistic and fantasy structures and textures.

研究动机与目标

• 解决在缺乏大规模成对文本-形状数据集的情况下，实现文本引导的 3D 形状生成的挑战。
• 弥合现有方法中阻碍保真度与一致性的文本与 3D 形状之间巨大的语义鸿沟。
• 实现在广泛类别中生成多样化 3D 形状的能力，包括真实与幻想结构及纹理。
• 与基于优化的方法（如 Dream Fields）相比，显著降低推理时间。
• 实现输入文本与生成形状视图之间强大的 CLIP 一致性，提升语义对齐效果。

提出的方法

• 提出一种两阶段特征空间对齐框架：首先通过具有多视角监督的预训练单视角重建（SVR）模型，将 CLIP 图像特征映射到细节丰富的 3D 形状空间。
• 其次，通过优化映射器，利用输入文本与生成形状渲染图像之间的 CLIP 一致性损失，提升文本-形状对齐效果。
• 采用 CLIP2Shape 映射器，学习将 CLIP 图像与文本特征映射到同一形状特征空间，利用 CLIP 的联合嵌入空间。
• 利用预训练的 SVR 模型，将强 3D 形状先验注入生成过程，实现高保真度重建。
• 应用一种文本引导的形状风格化模块，生成超出训练分布的新颖结构与纹理。
• 通过联合优化占用率、颜色、背景和 CLIP 一致性损失，确保多视角一致性与语义对齐。

实验结果

研究问题

• RQ1 2D 图像能否在零样本 3D 生成中有效充当桥梁，弥合文本与 3D 形状之间的语义鸿沟？
• RQ2 两阶段特征空间对齐策略是否能在无成对文本-形状数据的情况下提升文本到 3D 形状的一致性？
• RQ3 所提方法能否在无需针对特定形状微调的情况下，跨多样化类别（包括真实与幻想设计）生成高保真度 3D 形状？
• RQ4 与基于优化的基线方法（如 Dream Fields）相比，所提方法的推理速度如何？
• RQ5 CLIP 一致性损失在多大程度上改善了输入文本与生成 3D 形状视图之间的对齐效果？

主要发现

• 所提出的 ISS 框架每实例生成 3D 形状的时间在 85 秒以内，显著快于 Dream Fields（后者每形状需超过 72 分钟）。
• 在 ShapeNet 和 CO3D 基准测试中，ISS 的 FID 得分优于当前最先进方法，表明其生成保真度更高。
• 人工感知评估确认，与 CLIP-Forge 和 Dream Fields 等基线方法相比，ISS 生成的形状与文本描述更一致。
• 该方法成功生成了兼具真实感与幻想风格的 3D 形状，结构与纹理连贯，展现出在各类别中的广泛适用性。
• 消融研究显示，两阶段对齐与 CLIP 一致性损失对改善文本-形状对齐及缩小语义鸿沟至关重要。
• 该框架在 ShapeNet 类别之外也表现出良好泛化能力，即使对于训练数据中未出现的稀有或未见物体类型，也能生成合理形状。