[论文解读] Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

Wenqi Dong, Bangbang Yang+6 more|arXiv (Cornell University)|May 13, 2024

Computer Graphics and Visualization Techniques被引用 4

一句话总结

Coin3D 引入了一种可控且交互式的3D资产生成框架，该框架使用由基本几何体构建的粗略3D形状代理作为多视角扩散模型的条件引导。通过集成3D适配器、代理约束编辑、渐进式体素缓存以及体素-SDS损失，该方法实现了亚10秒响应的3D预览和细粒度的局部编辑，显著提升了现有3D生成方法的可控性与交互性。

ABSTRACT

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.

研究动机与目标

• 为解决当前3D生成建模工作流中可控性与响应速度不足的问题。
• 使用户能够使用直观的粗略形状代理而非文本或图像来创建和编辑3D资产。
• 支持低延迟的实时、交互式3D预览与局部部件编辑。
• 在保留用户定义的几何结构与形态的前提下，确保高保真网格重建。

提出的方法

• 引入3D适配器，将体素粗略形状控制直接应用于3D扩散模型，实现3D感知的条件控制。
• 通过掩码膨胀策略实现代理约束编辑，确保自然、无缝的局部编辑，同时保留未修改区域。
• 采用渐进式体素缓存技术，通过复用多次编辑间的中间特征体素，加速预览渲染，实现亚10秒响应时间。
• 采用体素-SDS（Score Distillation Sampling）损失，通过将3D几何与代理形状及多视角监督对齐，确保一致的网格重建。
• 框架将多视角扩散先验与3D代理引导相结合，使用户能够迭代优化提示词与形状。
• 提出一种新型的实时特征体素构建流水线，支持从任意视角快速生成与预览。

Figure 1. Coin3D allows users to add 3D-aware control to the object generation using coarse proxies assembled from basic shapes, enabling an interactive generation workflow with fine-grained part editing and responsive 3D previewing.

实验结果

研究问题

• RQ1 由基本几何体构成的粗略3D形状代理是否能在基于扩散的框架中有效引导高保真3D生成？
• RQ2 如何在极低延迟下实现3D感知的局部编辑，并保持几何与外观的一致性？
• RQ3 哪些技术可实现在交互式建模过程中数秒内完成的响应式3D预览？
• RQ4 与仅依赖图像或文本的条件控制相比，代理引导的条件控制在重建保真度方面有何提升？
• RQ5 体素-SDS与代理约束编辑在多大程度上提升了生成3D资产的质量与一致性？

主要发现

• Coin3D 在每次编辑中实现5–10秒的交互式3D预览，远快于现有方法中需数十分钟完成重建的效率。
• 体素-SDS损失提升了网格重建质量，减少了如‘漂浮物’等伪影，生成更合理的几何结构，例如更稳定的椅脚。
• 结合掩码膨胀的代理约束编辑可生成无缝、自然的修改效果；若移除任一组件，则会出现如断肢或融合形状等结构伪影。
• 在局部编辑过程中，该方法能保持未修改部分不变，展现出在多次编辑步骤中强大的内容保留能力。
• 用户研究与定性结果表明，该框架支持类似图像修复的直观、迭代式3D设计工作流。
• 与基线方法如Latent-NeRF和Fantasia3D相比，该框架在生成保真度与交互性方面均表现更优，尤其在响应式预览与形状控制方面优势显著。

Figure 2. Overview. Given a coarse shape proxy and user prompts that describe the identity, our method first constructs 2D image candidates from the proxy’s silhouette and 3D proxy samples as input conditions. Then, we employ a 3D adapter to integrate 3D-aware control to the diffusion’s denoising pr