[论文解读] Instruct 3D-to-3D: Text Instruction Guided 3D-to-3D conversion

Hiromichi Kamata, Yuiko Sakuma+3 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Vision and Imaging被引用 4

一句话总结

Instruct 3D-to-3D 提出了一种基于文本指令引导的 3D 到 3D 转换方法，该方法利用基于源 3D 场景条件化的预训练图像到图像扩散模型，实现高保真度、一致性和可控性的 3D 生成。通过整合源场景条件化和动态缩放机制，该方法在几何变换强度上实现可调节，从而在基线方法之上实现了更优的生成质量和 3D 一致性。

ABSTRACT

We propose a high-quality 3D-to-3D conversion method, Instruct 3D-to-3D. Our method is designed for a novel task, which is to convert a given 3D scene to another scene according to text instructions. Instruct 3D-to-3D applies pretrained Image-to-Image diffusion models for 3D-to-3D conversion. This enables the likelihood maximization of each viewpoint image and high-quality 3D generation. In addition, our proposed method explicitly inputs the source 3D scene as a condition, which enhances 3D consistency and controllability of how much of the source 3D scene structure is reflected. We also propose dynamic scaling, which allows the intensity of the geometry transformation to be adjusted. We performed quantitative and qualitative evaluations and showed that our proposed method achieves higher quality 3D-to-3D conversions than baseline methods.

研究动机与目标

• 为解决缺乏由自然语言指令引导的可控且高质量 3D 到 3D 编辑的问题。
• 在基于文本的 3D 场景变换过程中，提升 3D 一致性与结构保真度。
• 使用户能够控制 3D 到 3D 转换过程中几何变化的强度。
• 通过利用同时基于文本和源 3D 几何条件化的预训练图像到图像扩散模型，实现高保真度 3D 生成。
• 提供一种在保留源场景语义与结构内容的同时，支持基于文本的表达性编辑的方法。

提出的方法

• 该方法使用预训练的图像到图像扩散模型，以最大化从目标 3D 场景渲染的 2D 视图的似然性，从而确保图像质量。
• 明确将源 3D 场景作为条件输入，以在生成过程中保持结构与语义的一致性。
• 引入动态缩放机制，逐步调整体素网格分辨率，实现平滑且可控的几何变换。
• 3D 表示基于基于体素网格的隐式模型，几何变化通过扩散过程中的迭代去噪实现。
• 在扩散过程中应用无分类器指导，以控制文本指令对输出的影响。
• 通过最小化去噪视图与目标图像之间的噪声预测损失，优化类似 NeRF 的 3D 表示。

Figure 1: Overview of Instruct 3D-to-3D. First, the target model is initialized with the source model (i). Next, the target image is rendered from a random camera viewpoint (ii) and then the noise is added to input into InstructPix2Pix. The source image is rendered from the same viewpoint (iii) and

实验结果

研究问题

• RQ1 基于文本指令引导的 3D 到 3D 转换能否在图像质量和 3D 一致性方面超越现有方法？
• RQ2 在 3D 到 3D 编辑过程中，如何控制几何变换的强度？
• RQ3 对源 3D 场景进行条件化是否能提升结构保真度并减少生成场景中的分布偏移？
• RQ4 与传统的渐进式缩放相比，动态缩放在保持 3D 结构方面表现如何？
• RQ5 在基于文本的 3D 编辑中，空间推理能力的局限性会产生何种影响，尤其是在处理复杂指令时？

主要发现

• Instruct 3D-to-3D 的 BRISQUE 得分低于 DreamFusion 和 CLIP-NeRF（得分越低表示图像质量越高），表明其具有更优的视觉质量。
• 尽管未显式优化 CLIP 分数，该方法仍实现了与 DreamFusion 相当的 CLIP 分数，表明其具备强大的文本-图像对齐能力。
• 用户偏好研究表明，在 72% 的情况下，Instruct 3D-to-3D 被优先选择，表明其具有更高的感知质量。
• 动态缩放在保持 3D 结构方面优于渐进式缩放，后者因体素的突然减少导致显著的结构损伤。
• 更大的动态缩放因子会导致更显著的结构变化，证实了对变换强度的可控性。
• 在涉及空间推理的任务中（例如将物体放置在椅子上），失败案例多发，模型会错误地改变结构组件，表明需要具备更深层次的感知推理能力。

Figure 2: Comparison of progressive scaling and proposed dynamic scaling. In dynamic scaling, we first gradually decrease the number of voxels to change the global structure, then increase them to change to the local structure.